1. 程式人生 > >搭建Hadoop環境之偽分散式

搭建Hadoop環境之偽分散式

搭建好單機模式的Hadoop環境以後就可以搭建偽分散式的Hadoop環境了,接下來資料儲存在HDFS上進行測試,首先就要對HDFS進行配置。

配置HDFS

配置/opt/app/hadoop2.7/etc/hadoop/core-site.xml

<configuration>
	<property>
        <name>fs.defaultFS</name>
        <!--這裡配置的是NameNode的IP地址和埠號-->
        <value>hdfs://hadoop01:8020</value>
        <!--hadoop01是NameNode的IP地址的對映,8020是埠號,注意埠號是 唯一的,否則會發生衝突-->
    </property>
    
     <property>
        <name>hadoop.tmp.dir</name>
        <!--這個資料夾會建立一個臨時檔案,並且儲存fsimage-->
        <value>/var/hadoop/data</value>
        <!--這個路徑不需要建立,在格式化namenode的時候會自動建立-->
    </property>
</configuration>

配置/opt/app/hadoop2.7/etc/hadoop/hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <!--這裡配置的是副本數量-->
        <value>1</value>
        <!--1表示有1個副本-->
    </property>

	 <property>
        <name>dfs.namenode.secondary.http-address</name>
        <!--配置secondarynamenode節點-->
        <value>hadoop01:50090</value>
        <!--hadoop01是secondarynamenode節點的IP地址的對映(因為是單機版所以寫自己就行)-->
	 </property>
</configuration>

配置從節點/opt/app/hadoop2.7/etc/hadoop/slaves也就是datanode,單機版寫自己就行。 都配置好以後執行 bin/hadoop namenode -format 來格式化namenode節點,然後執行start-dfs.sh 來啟動叢集。啟動集群后可以通過jps檢視啟動節點的資訊,前面是id號。