配置hadoop集群服務之二
1、配置多臺機器可以免密登陸:
步驟:
(Tip:正常情況下authorized_keys應該同id_rsa.pub)
1)用ssh-keygen命令生成公匙
2)接著在Master節點上做如下配置,把id_rsa.pub追加到授權的key裏面去。
cat /home/haoxin/.ssh/id_rsa.pub >>~/.ssh/authorized_keys/
3)給自己加sudo權限:
sudo vim /etc/sudoers
haoxin ALL=(ALL) NOPASSWD: ALL
wq!
4)復制公匙到別的服務器上:
scp -r ~/.ssh/* [email protected]
scp ~/.ssh/* 遠程用戶名@遠程服務器IP:~/
最好.ssh目錄是700
.ssh/目錄下是600
如果不修改成這樣,後期會出現:
bad permissions: ignore key: /root/.ssh/id_rsa
也就是配置的公匙失效了;
最後多臺機器reboot重啟一下,就可以互相免密登陸;
總結Tip:
1、scp -r ~/.ssh/ 主機名@ip:~/.ssh/;
2、查看系統log日誌的方法:
tail -f /data/cloud/deploy/src/hadoop-2.7.3/logs/hadoop-haoxin-namenode-haoxintest1.master.chx.com.log
3、創建namenode進程的方法:
hdfs namenode -format 先將namenode格式化
hadoop-daemon.sh start namenode
4、HDFS即Hadoop分布式文件系統(Hadoop Distributed Filesystem),以流式數據訪問模式來存儲超大文件;
5、hdfs-site.xml裏面的配置信息是用來設置namenode是哪個主機的;
Yarn-site.xml裏面的配置信息也是一樣;
碰到過的坑:
1、hadoop已經做了軟鏈接,為什麽還是執行不了?
權限所屬問題不對
如果權限所屬問題也改了,還是不能執行,可以有個終極解決辦法:
在如下路徑編輯一個腳本文件,然後重啟就可以了
Sudo vim /etc/profile.d/hadoop.sh
內容如下:
# set hadoop
export HADOOP_HOME=/usr/local/cloud/hadoop
export PATH=$PATH:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin
export HADOOP_CONF_DIR=/usr/local/cloud/hadoop/etc/hadoop
export YARN_CONF_DIR=/usr/local/cloud/hadoop/etc/hadoop
配置hadoop集群服務之二