1. 程式人生 > >hadoop筆記第一天

hadoop筆記第一天

1:安裝虛擬機器(略)

2:安裝必要的環境:安裝jdk

3:安裝hadoop

   3.1上傳hadoop包

   3.2解壓hadoop包

         首先在目錄~建立一個app目錄

        mkdir /app

        解壓:

        tar -zxvf hadoop-1.1.2.tar.gz -C /app/

[[email protected] hadoop-2.4.1]$ ll
total 60
drwxr-xr-x. 2 hadoop hadoop  4096 Jun 20  2014 bin
drwxrwxr-x. 4 hadoop hadoop  4096 Jul  6 16:32 data
drwxr-xr-x. 3 hadoop hadoop  4096 Jun 20  2014 etc
drwxr-xr-x. 2 hadoop hadoop  4096 Jun 20  2014 include
drwxr-xr-x. 3 hadoop hadoop  4096 Jun 20  2014 lib
drwxr-xr-x. 2 hadoop hadoop  4096 Jun 20  2014 libexec
-rw-r--r--. 1 hadoop hadoop 15458 Jun 20  2014 LICENSE.txt
drwxrwxr-x. 3 hadoop hadoop  4096 Jul  7 15:52 logs
-rw-r--r--. 1 hadoop hadoop   101 Jun 20  2014 NOTICE.txt
-rw-r--r--. 1 hadoop hadoop  1366 Jun 20  2014 README.txt
drwxr-xr-x. 2 hadoop hadoop  4096 Jun 20  2014 sbin
drwxr-xr-x. 4 hadoop hadoop  4096 Jun 20  2014 share

bin :執行的指令碼

etc:配置檔案

share:jar包

doc:文件(可以是刪除rm-rfdoc)

lib:本地庫

include:跟本地庫相關的檔案

  3.3配置hadoop偽分散式(要修改4個檔案)

第一個:hadoop-env.sh

export HADOOP_HOME=/home/hadoop/app/hadoop-2.4.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

第二個:core-site.xml(啟動時)

<configuration>
        <!-- 指定HDFS的namenode的通訊地址 -->
        <property>
                <name>fs.default.name</name>
                <value>hdfs://hadoop001:9000</value>
        </property>
        <!-- 指定hadoop執行時產生檔案的存放目錄 -->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/hadoop/app/hadoop-2.4.1/data/</value>
        </property>
</configuration>


第三個:hdfs-site.xml

<configuration>
        <!-- 配置HDFS副本的數量 -->
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
</configuration>

第四個:mapred-site.xml

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

第五個:yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop001</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

3.4將hadoop新增到環境變數

      

3.5格式化HDFS

         hadoop namenode -format

3.6啟動hadoop

         start-all.sh

3.7驗證叢集是否啟動成功(有這5個就可以)

[[email protected] hadoop-2.4.1]$ jps
2750 SecondaryNameNode
2887 ResourceManager
2483 NameNode
3926 Jps
2570 DataNode
3109 NodeManager

配置ssh免登陸(登入分為密碼登入和祕鑰登入,如果不配置祕鑰,預設的採用密碼登入)


生成ssh免登陸金鑰

ssh-keygen -t rsa

執行完這個命令後,會生成兩個檔案id_rsa(私鑰)、id_rsa.pub(公鑰)

將公鑰拷貝到要免登陸的機器上

cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys


有疑問歡迎郵箱提問:

[email protected]