1. 程式人生 > >hadoop叢集之間無密碼登入設定

hadoop叢集之間無密碼登入設定

目前有幾臺機器,主機器叫master,另一臺叫slave1。要在master上無密碼登入slave1,需要做無密碼登入操作。

步驟一

在master上操作下面命令:
輸入ssh-keygen -t rsa後一直按回車鍵,好像有3次

$ cd ~
$ ssh-keygen -t rsa
$ cd .ssh
$ cp id_rsa.pub authorized_keys
$ chmod 600 authorized_keys 

步驟二

在slave上操作下面命令

$ cd ~
$ ssh-keygen -t rsa
$ cd .ssh
$ cp id_rsa.pub authorized_keys
$ 
chmod 600 authorized_keys

步驟三

接下來保證兩臺機是連通的,執行下面命令,拷貝master的公鑰到slave1機器去,需要輸入slave1的hadoop使用者密碼

scp ~/.ssh/id_rsa.pub hadoop@slave1:/home/hadoop/

步驟四

然後在slave1機器上就可以看到id_rsa.pub檔案了
執行下面命令:
合併id_rsa.pub內容到slave1的authorized_keys檔案上,然後刪除檔案id_rsa.pub

$ cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
$ 
rm ~/id_rsa.pub

完成

執行完即可在master上無密碼登入slave1機器了,但是想要在slave1登入master就不行,還得反過來,拷貝slave1的id_rsa.pub內容到master機器上,然後合併到authorized_keys檔案上才行
注意:如果實在不行,只能互拷公鑰了,也就是兩條機器上的authorized_keys一模一樣

實操

下面是實操程式碼:
master

[hadoop@mester .ssh]$ scp id_rsa.pub   hadoop@slave2:/home/hadoop/
hadoop@slave2's password: 
id_rsa.pub                                           100%  395     0.4KB/s   00:00    
[
[email protected]
.ssh]$

slave2

[hadoop@localhost ~]$ ls
id_rsa.pub  公共  模板  視訊  圖片  文件  下載  音樂  桌面
[hadoop@localhost ~]$ ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/home/hadoop/.ssh/id_rsa): 
Created directory '/home/hadoop/.ssh'.
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /home/hadoop/.ssh/id_rsa.
Your public key has been saved in /home/hadoop/.ssh/id_rsa.pub.
The key fingerprint is:
50:2a:8e:e0:25:23:c8:4d:5f:49:f0:34:2d:3f:53:03 [email protected]
The key's randomart image is:
+--[ RSA 2048]----+
|   . .o=+E.      |
|o o . +=.. o     |
|++ o..o.o . .    |
|o.+o . . +       |
| .. .   S o      |
|                 |
|                 |
|                 |
|                 |
+-----------------+
[hadoop@localhost ~]$ 
[hadoop@localhost ~]$ cd .ssh
[hadoop@localhost .ssh]$ cp id_rsa.pub authorized_keys
[hadoop@localhost .ssh]$ chmod 600 authorized_keys 
[hadoop@localhost .ssh]$ cd ..
[hadoop@localhost ~]$ cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
[hadoop@localhost ~]$ rm ~/id_rsa.pub
[hadoop@localhost ~]$ 

登入驗證:

[hadoop@mester .ssh]$ ssh slave2
Last login: Thu Jun 21 16:04:12 2018 from master
[hadoop@slave2 ~]$ exit
登出
Connection to slave2 closed.
[hadoop@mester .ssh]$ 

相關推薦

hadoop叢集之間無密碼登入設定

目前有幾臺機器,主機器叫master,另一臺叫slave1。要在master上無密碼登入slave1,需要做無密碼登入操作。 步驟一 在master上操作下面命令: 輸入ssh-keygen -t rsa後一直按回車鍵,好像有3次 $ cd ~

大資料的Hadoop叢集環境節點數設定

關於hadoop叢集的硬體資源 大資料是當下最火熱的名詞,但真的大資料落地可行性方案估計更多也就是看幾張報表,寫幾個T-SQL語句罷了,然後開始炒作我們xxx專案利用大資料技術……如是等等。這樣才能跟上時代趕上潮流,自己戴上大資料的帽子。在資本市場宣揚一番,得到更多

hadoop叢集之間遷移分割槽表

這裡叢集的分割槽表是指的hive/impala表, 表儲存格式是parquet. 遷移的時候是指檔案的拷貝。下面我做一個案例演示。 如果有大量的表要遷移,可以寫一個java程式,多執行緒控制。 1.檢視源叢集的表位置 [[email protected] ~]#

hadoop叢集配置無密碼登陸 啟動關閉namenode輸入密碼的解決方法

最近做hadoop學習,按網上的資料照本宣科做的,發現死活搞不懂為啥在啟動和關閉namenode的時候都要輸入密碼。上網查詢半天都沒摸到頭腦,後來仔細研究了下ssh後才發現,原來是一直沒在namenode主機上加入ssh本地免驗證authorized_keys檔案,ssh

使用distcp在hadoop叢集之間拷貝檔案w

今天需要用版本為 0.20.2-cdh3u4的Zeus叢集上拷貝檔案到版本為2.3.0-cdh5.0.0的晨曦叢集上。怎麼鼓搗不行。後來用了下面的命令行了。 hadoop distcp hftp://rsync.console01.zeus.hadoop.ctc.sogou

叢集中配置多臺計算機之間ssh無密碼登入的一種簡便方法

當我們在配置多臺計算,使之可以相互使用無密碼登入-ssh,之前都是一臺一臺的配置,現在一臺A上新增B,然後在另一臺B上再次新增A,這樣使得authorized_keys中的內容相同,但時並不是完全相同,比如新增順序。如果超過2臺,這種配置就相當複雜了,而且容易出錯。後來,在

Ubuntu系統上叢集之間ssh實現無密碼登入

準備條件: 安裝ssh-serversudo apt-get install openssh-server安裝ssh-clientsudo apt-get install openssh-clie

設定centos7之間ssh無密碼登入

比如已經有了主機名為 LZY001,LZY002兩臺主機 1.在每臺主機上執行命令,並一路回車,生成加密檔案 ssh-keygen -t rsa2.在LZY001上執行命令: [[email protected] ~]#ssh-copy-id LZY002 按照提

配置hadoop叢集時,ssh無密碼登陸設定(各個主機的使用者名稱需要一樣)

目標: 在配置hadoop分散式安裝過程中,需要配置ssh的無密碼登入。在組建hadoop叢集的時候,需要多臺實體機進行通訊(傳送或者讀取資料,namenode和datanode之間)就是藉助ssh,在通訊過程中如果需要操作人員頻繁輸入密碼是不切實際的,所以需要ssh的

ssh無密登入配置詳解(hadoop叢集搭建)

ssh無密登入原理 注:私鑰和公鑰是每個使用者獨有的,而不是機器或者伺服器的,比如一臺電腦或者伺服器或者虛擬機器,可以同時存在多個使用者,但不同使用者需要遠端登入其他伺服器或者虛擬機器時,都必須配置各自的私鑰和公鑰,而且使用者之間的各不相同 常用命令 ssh ip(遠端登入也可

Hadoop叢集連線報錯(以及tmp目錄的設定

此問題用於解決此次異常之前叢集是正常工作的情況下可參考,若不是則需要重新檢視Hadoop的各個配置檔案 問題1: 經過查詢,解決辦法: 檢視叢集是否啟動?: 叢集關閉常出現在學習過程中,因為每天我們需要電腦關機,當我們的物理機關閉後,那麼虛擬機器裡面的叢集也會隨之關閉,在

關於Hadoop叢集中使用SSH免密登入的詳細操作!

很多時候,在我們操作不同的虛擬機器時,常常因為一些需要密碼的操作,因此,各虛擬機器之間的免密設定必不可少。那麼這篇我們就來介紹關於虛擬機器之間配置SSH免密操作的詳細流程! 準備條件:兩臺以上的虛擬機器,因為想要給大家介紹關於Hadoop叢集的搭建,所以我這邊準備了三臺虛擬機器,分別為: h

本地搭建hadoop叢集--設定ssh免登陸及免登原理

ssh免登就是 機器與機器之間通過金鑰相互信任跳過登陸 命令 cd  cd .ssh/   ssh-keygen -t rsa 會生成兩個金鑰 id_rsa id_rsa.pub 顧名思義 一個是公鑰 一個是私鑰 A與B

Hadoop叢集搭建中ssh免密登入

 參考: 大資料系列(3) Hadoop中的ssh無密碼登入配置 解決 Agent admitted failure to sign using the key 問題 with ssh

Hadoop叢集SSH無密登入

Hadoop叢集SSH無密登入 1.原理及操作 1.1在登入使用者家目錄的.ssh下操作 1.2生成公鑰和私鑰 1.3將公鑰拷貝到要免密登入的目標機器上 2.無密配置(注意命令執行位置!) 2.1在配置Nam

hadoop 叢集 master無法免密登入slave2

因為這叢集是半年前配置好的,現在重新 啟動執行一些任務,發現 ssh服務 無法連通,但是slave2是可以 免密登入master 的,考慮到是 公鑰和私鑰的問題,master想要免密登入slave2,那麼 slave2必須 擁有master的公鑰,百度了很多教程,但都沒有用,

hadoop-叢集管理——記憶體設定

1.記憶體 hadoop為各個守護程序(namenode,secondarynamenode,jobtracker,datanode,tasktracker)統一分配的記憶體在hadoop-env.sh中設定,引數為HADOOP_HEAPSIZE,預設為100

大資料叢集環境ssh免密碼登入設定

一、準備工作 用客戶端工具(xshell或者ssh等等)連線到linux伺服器。在root使用者下輸入命令: vi /etc/hosts,用vi編輯hosts檔案,如下: 127.0.0.1 localhost localhost.localdomain localhost4 localhos

hadoop叢集啟動失敗之免密登入

** 設定了免密碼登陸但是還是需要輸入密碼: ** 許可權保證: 1、authorized-keys 的許可權為 600 2、home、賬戶所在的目錄如hadoop、.ssh這三個檔案的許可權都必須設定為7

GitHub設定無密碼登入

生成金鑰並新增到GitHub GitHub專案的授權方式有兩種方式:Https和SSH,使用Https方式時需要輸入使用者名稱和密碼,SSH方式則不需要。 若想為新的專案使用SSH方式連線,請參考搭建git開發環境 。 若想為已有的專案切換到使用S