1. 程式人生 > >centos6 5安裝配置spark

centos6 5安裝配置spark

                       

安裝java

  1. 下載jdk
  2. 解壓 tar -zxvf jdk-8u91-linux-x64.tar.gz
  3. 設定JAVA_HOME:修改配置檔案vi /etc/profile,最後一行新增以下程式碼

    export JAVA_HOME=/usr/java/jdk1.8.0_91   export
    CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar  export PATH=$PATH:$JAVA_HOME/bin
    • 1
    • 2
    • 3
  4. 命令:source /etc/profile 使檔案立即生效

  5. 命令:java -version 檢測是否安裝成功

安裝hadoop

安裝hadoop的文章連結

安裝spark

  1. 下載spark
    這裡寫圖片描述
  2. 解壓
  3. 修改配置檔案vi /etc/profile,最後一行新增以下程式碼

    export SPARK_HOME=/home/sparkexport PATH=$PATH:$SPARK_HOME/bin
         
    • 1
    • 2
  4. 命令:source /etc/profile 使檔案立即生效

  5. spark-shell 命令,即可啟動spark單機模式
  6. 配置spark-env.sh,進入spark/conf

    mv spark-env.sh.template spark-env.shvim spark-env.sh#以下新增在末尾export  SPARK_MASTER_IP=192.168.232.130export  SPARK_LOCAL_IP=192.168
    .232.130
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7

    192.168.232.130為本機的ip

  7. spark/sbin/start-all.sh 命令,即可啟動偽分散式模式
           

再分享一下我老師大神的人工智慧教程吧。零基礎!通俗易懂!風趣幽默!還帶黃段子!希望你也加入到我們人工智慧的隊伍中來!https://blog.csdn.net/jiangjunshow