1. 程式人生 > >配置hadoop集群服務之二

配置hadoop集群服務之二

主機名 $path log dir log日誌 hadoop集群 filesyste 登陸 bad

1、配置多臺機器可以免密登陸:

步驟:

(Tip:正常情況下authorized_keys應該同id_rsa.pub)

1)用ssh-keygen命令生成公匙

2)接著在Master節點上做如下配置,把id_rsa.pub追加到授權的key裏面去。

cat /home/haoxin/.ssh/id_rsa.pub >>~/.ssh/authorized_keys/

3)給自己加sudo權限:

sudo vim /etc/sudoers

haoxin ALL=(ALL) NOPASSWD: ALL

wq!

4)復制公匙到別的服務器上:

scp -r ~/.ssh/* [email protected]

:~/.ssh

scp ~/.ssh/* 遠程用戶名@遠程服務器IP:~/

最好.ssh目錄是700

.ssh/目錄下是600

如果不修改成這樣,後期會出現:

bad permissions: ignore key: /root/.ssh/id_rsa

也就是配置的公匙失效了;

最後多臺機器reboot重啟一下,就可以互相免密登陸;

總結Tip:

1、scp -r ~/.ssh/ 主機名@ip:~/.ssh/;

2、查看系統log日誌的方法:

tail -f /data/cloud/deploy/src/hadoop-2.7.3/logs/hadoop-haoxin-namenode-haoxintest1.master.chx.com.log

3、創建namenode進程的方法:

  hdfs namenode -format 先將namenode格式化

  hadoop-daemon.sh start namenode

4、HDFS即Hadoop分布式文件系統(Hadoop Distributed Filesystem),以流式數據訪問模式來存儲超大文件;

5、hdfs-site.xml裏面的配置信息是用來設置namenode是哪個主機的;

  Yarn-site.xml裏面的配置信息也是一樣;

碰到過的坑:

1、hadoop已經做了軟鏈接,為什麽還是執行不了?

權限所屬問題不對

如果權限所屬問題也改了,還是不能執行,可以有個終極解決辦法:

在如下路徑編輯一個腳本文件,然後重啟就可以了

Sudo vim /etc/profile.d/hadoop.sh

內容如下:

# set hadoop

export HADOOP_HOME=/usr/local/cloud/hadoop

export PATH=$PATH:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin

export HADOOP_CONF_DIR=/usr/local/cloud/hadoop/etc/hadoop

export YARN_CONF_DIR=/usr/local/cloud/hadoop/etc/hadoop

配置hadoop集群服務之二