完全分散式部署Hadoop叢集準備(一)
阿新 • • 發佈：2018-12-19
配置三臺虛擬機器
分別設定名稱為testnote01,testnote02,testnote03 分別配置三臺虛擬機器的ip
192.168.18.50
192.168.18.51
192.168.18.52
主機名等資訊,詳情虛擬機器克隆衝突解決
cat /etc/hosts //修改為
192.168.18.50 testnote01
192.168.18.51 testnote02
192.168.18.52 testnote03
分別ping通三臺主機,保證三臺主機之間可以互相通訊
修改windows的hosts檔案,加上
192.168.18.50 testnote01 192.168.18.51 testnote02 192.168.18.52 testnote03
scp遠端拷貝命令
遠端拷貝其他主機上的檔案
scp -r 目標檔案的相對目錄 遠端主機的名稱@遠端主機ip/域名:遠端主機的檔案目錄
從其他主機上拷貝檔案到自己的主機上
scp 使用者名稱@其他戶籍的域名/ip:檔案地址 自己主機的檔案地址
ssh免密登入原理
-
A伺服器生成一對金鑰對:生成公鑰和私鑰
-
A伺服器將公鑰拷貝到B伺服器上
-
A伺服器通過ssh訪問B,資料用私鑰進行加密的
-
B伺服器接受到資料後,通過拷貝的公鑰對資料進行解密操作
-
B伺服器再採用A鑰加密將資料返回給A伺服器
-
A伺服器接受到資料後用私鑰解密資料 回到根目錄,檢視ssh檔案.沒有的情況下.使用ssh命令登入下其他主機即可
保證.ssh目錄下面為空.執行命令ssh-keygen -t rsa
三次回車後
id_rsa為私鑰 id_rsa.pub為私鑰
ssh-copy-id testnote02
ssh-copy-id testnote03
完成之後對自己進行免密操作
ssh-copy-id testnote01
遠端免密登入測試
在testnote01上啟動namenode 在testnote02上啟動resourcemanager 都需要ssh,兩個都耗費資源,所以要配置ssh
進入testnote02的.sh目錄下
ssh-keygen -t rsa
三次回車
ssh-copy-id testnote01
ssh-copy-id testnote02
ssh-copy-id testnote03
rsync 遠端同步
rsync遠端同步工具:主要用於備份和映象,具有速度快.避免複製相同內容和支援符合連線的優點 rsync和scp區別:rsync檔案複製比scp快,rsync只對差異檔案更新,scp是把所有檔案複製過去
將三臺機器安裝rsync
yum install sync -y
基本語法
rsync -rvl $pdir/$fname [email protected]$host:$pdir
命令 命令引數 要拷貝的檔案路徑/名稱 目的使用者@主機:目的路徑
r遞迴 v顯示 複製過程 l拷貝符號連線
做一個小demo
