1. 程式人生 > >hadoop偽分布式

hadoop偽分布式

tro user 一行 mkdir 最後一行 secondary ado art second

  1. JDK安裝配置
    1 執行 rpm -i  jdk-8u91-linux-x64.rpm  默認安裝在/usr/java/jdk1.8.0_91目錄中
    2 
    3 配置環境變量
    4 vi /etc/profile
    5 在最後一行添加
    6 export  JAVA_HOME=/usr/java/jdk1.8.0_91
    7 export  PATH=$PATH:$JAVA_HOME/bin
    8 
    9 source /etc/profile 使環境變量生效
  2. ssh免秘鑰(本機)
    1 生成公鑰並追加到文件中保存
    2 ssh-keygen -t dsa -P ‘‘ -f ~/.ssh/id_dsa
    3 cat ~/.ssh/id_dsa.pub >> ~/.ssh
    /authorized_keys
  3. Hdaoop安裝配置
     1 在/opt 創建hadoop目錄 /sxt,上傳hadoop.tar.gz到服務器,解壓移動到指定目錄
     2 mv hadoop-2.6.5 /opt/sxt
     3 
     4 配置環境變量
     5 vi /etc/profile
     6 export JAVA_HOME=/usr/java/jdk1.7.0_67
     7 export  HADOOP_HOME=/opt/sxt/hadoop-2.7.3
     8 export  PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
     9 
    10 source /etc/profile 使環境變量生效
  4. Hadoop環境配置,
    進入hadoop的配置目錄
    cd /opt/sxt/hadoop-2.7.3/etc/hadoop 
    1 vi hadoop-env.sh
    2 修改JAVA_HOME為
    3 export JAVA_HOME=/usr/java/jdk1.8.0_91
     1 vi core-site.xml
     2 添加配置
     3 <property>
     4      <name>fs.defaultFS</name>
     5      <value>hdfs://node01:9000</value>
     6 </property>
     7 <property>
     8
    <name>hadoop.tmp.dir</name> 9 <value>/var/sxt/hadoop/local</value> 10 </property>
     1 vi hdfs-site.xml
     2 添加配置
     3 <property>
     4      <name>dfs.replication</name>
     5      <value>1</value>
     6 </property>
     7 <property>
     8      <name>dfs.namenode.secondary.http-address</name>
     9      <value>node00:50090</value>
    10 </property>
    1 vi slaves
    2 修改
    3 node00
  5. HAdoop啟動測試
     1 格式化  hdfs namenode -format
     2 啟動  start-dfs.sh
     3 查看進程 jps
     4 28341 SecondaryNameNode
     5 28102 NameNode
     6 28207 DataNode
     7 28480 Jps
     8 
     9 上傳文件測試
    10 hdfs dfs -mkdir /user
    11 hdfs dfs -ls /user
    12 hdfs dfs -mkdir /user/root
    13 hdfs dfs -D dfs.blocksize=1048576 -put hadoop-2.7.3.tar.gz 
    14 
    15 瀏覽器訪問查看上傳文件
    16 http://192.168.68.99:50070

hadoop偽分布式