1. 程式人生 > >hadoop全分散式叢集:配置主從節點之間的免密登入

hadoop全分散式叢集:配置主從節點之間的免密登入

要想實現主節點 對 從節點的管理:
需要配置主節點對從節點的免密登入。
**主節點hostname:vdevops
從節點hostname:test2
hadoop版本:2.8.2
主從節點可以相互通訊**

1.主節點中產生RSA金鑰

1.1

首先檢查目錄/home/hadoop/.ssh下是否有id_rsa、 id_rsa.pub兩個檔案,如有,刪除之

1. 2

在主節點中執行,產生金鑰

[hadoop@vdevops ~]$ ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in
which to save the key (/home/hadoop/.ssh/id_rsa): Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been saved in /home/hadoop/.ssh/id_rsa. Your public key has been saved in /home/hadoop/.ssh/id_rsa.pub. The key fingerprint is: b9:18:3b:50:cd:d9:48:eb:be:84:c0:49
:fb:8e:1e:0a hadoop@vdevops The key's randomart image is: +--[ RSA 2048]----+ | . | | + = | | . . * . | | o + . . | | * . S | | + * . | |E . * + | | . . + o . | | ..o . . | +-----------------+
1.3 生成金鑰之後,公鑰的形式:
[
[email protected]
.ssh]$ cat id_rsa.pub ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQCpmiWNRvoBJ5w3f9V58nnHfitKOYxMMvCyOLP0siXtCAUHcOdfJkQQ00Qe9USRAFseosuzL7vDwYBk4jdwrbb1o/OIwbZB7qh8JuNfFHkmKqdwHToze85cRSnXDz7R/YJ7K+/v0AdNVM9XIB6xKXPXiEFp8Cp1S1p00Ld4nJpvxYcjFNl1JLi/l/DVlPyNv4KS3RD4SqFNbVzFgXdEoi3nL5i48Jgjb0XNXSsrGz03trLRRkqGPPqdFQW4bXww1f+pZpRmzU0c1Ng+Azf1SMNq4D3YOIKEePodw28n9ajOpy4NyOz0yvKIXQx8vArKw8ho5QKSEN5EDWCJfC09pAjP [email protected] [[email protected] .ssh]$ pwd /home/hadoop/.ssh

2. 將主節點中產生RSA金鑰分佈到從節點中

[hadoop@vdevops .ssh]$ scp id_rsa.pub hadoop@test2:~/vdevops_key
The authenticity of host 'test2 (192.168.1.127)' can't be established.
ECDSA key fingerprint is a7:8a:dc:21:a9:73:ba:92:74:08:02:14:c4:ba:01:0d.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'test2,192.168.1.127' (ECDSA) to the list of known hosts.
[email protected]'s password: 
id_rsa.pub   

解釋:scp id_rsa.pub [email protected]:~/vdevops_key: 將 id_rsa.pub傳到test2上,並且重新命名為vdevops_key,即檔案vdevops_key內容與id_rsa.pub 相同

3. 在從節點中設定主節點的金鑰為授權金鑰

[hadoop@test2 ~]$ mv ~/vdevops_key ~/.ssh/authorized_keys #移動vdevops_key並重命名為authorized_keys 

[hadoop@test2 ~]$ chmod 600 ~/.ssh/authorized_keys #設定許可權

4.嘗試主節點登入到從節點

可以直接登入從節點 而不需要密碼,顯示如下:

[[email protected] ~]$ ssh test2
Last login: Wed Dec 20 14:07:09 2017 from 192.168.1.247

相關推薦

hadoop分散式叢集配置主從節點之間登入

要想實現主節點 對 從節點的管理: 需要配置主節點對從節點的免密登入。 **主節點hostname:vdevops 從節點hostname:test2 hadoop版本:2.8.2 主從節點可以相互通訊** 1.主節點中產生RSA金鑰 1.1

配置hadoop各個節點之間密碼登入實踐筆記

前言:           最近在搭建Hadoop環境需要設定無密碼登陸,所謂無密碼登陸其實是指通過證書認證的方式登陸,使用一種被稱為"公私鑰"認證的方式來進行ssh登入。 在linux系統中,ssh是遠端登入的預設工具,因為該工具的協議使用了RSA/DSA的加密演算法

linux下主從節點互相匙登陸

ssh 發送 scp 安裝 修改 lin 節點 生成 -c 安裝了三個節點,master,slave1,slave2 1.主節點免密匙登陸從節點主機點窗口輸入 ssh-keygen -t rsa 一路回車下去2.然後輸入cat ~/.ssh/id_rsa.pub &g

基於【CentOS-7+ Ambari 2.7.0 + HDP 3.0】搭建HAWQ資料倉庫——安裝配置OPEN-SSH,設定主機節點之間互訪

配置root使用者免密互訪(為了方便,各臺系統中使用統一的證書檔案)一、安裝Open-SSH 1,查詢系統中是否安裝了openssh [[email protected]]# opm -qa |grep ssh 如已安裝,則列出下面類似的軟體包 openssh-server-7.4p1-16.

大資料之Hadoop學習(環境配置)——Hadoop分散式叢集搭建

title: Hadoop偽分散式叢集搭建 date: 2018-11-14 15:17:20 tags: Hadoop categories: 大資料 點選檢視我的部落格: Josonlee’s Blog 文章目錄 前言準備 偽分

hadoop分散式叢集搭建及配置記錄

如果已經走到了需要搭建hadoop偽分散式的環境了,那說明你至少做好了以下三點建立好了自己的虛擬機器,ip、本機名對映、防火牆、安全子系統都已經配置好了下載jdk1.7及以上版本,並配置好了java環境下載hadoop2.7.0及以上版本,並解壓到、opt/modules(自

Hadoop分散式叢集安裝配置步驟

之前介紹過Hadoop偽分散式模式的安裝配置步驟,現在記錄一下分散式叢集的安裝配置步驟,本文使用3臺測試伺服器,下面是各伺服器的角色:   - node1:NameNode, DataNode, NodeManager - node2:SecondaryNameNode,

ubuntu18.04 搭建hadoop完全分散式叢集(Master、slave1、slave2)共三個節點

一、硬體配置以及作業系統: 所需要的機器以及作業系統:一臺mac os筆記本、一臺window筆記本(CPU雙核四執行緒,記憶體8G),其中mac os用於遠端操作,window筆記本裝有虛擬機器,虛擬出3個ubuntu18.04系統(配置CPU1個執行緒2個,記憶體1.5G,硬碟分配每個7

Hadoop本地模式、偽分散式分散式叢集安裝與部署

<link rel="stylesheet" href="https://csdnimg.cn/release/phoenix/template/css/

hadoop完全分散式叢集搭建全部流程之四ssh和指令碼補充

SSH無密碼登入 1)配置ssh:配置ssh無密碼登入主要 是為了方便叢集之間進行通訊,方便運算。 (1)基本語法 ssh 另一臺電腦的ip地址 (2)ssh連線時出現Host key verif

hadoop 分散式配置

1./etc/profile.d/資料夾下建立hadoop.sh   HADOOP_COMMON_HOME=/opt/hadoop HADOOP_HDFS_HOME=/opt/hadoop HADOOP_MAPRED_HOME=/opt/hadoop HADOOP_YARN

阿里雲ECS伺服器部署HADOOP叢集(一)Hadoop完全分散式叢集環境搭建

準備: 兩臺配置CentOS 7.3的阿里雲ECS伺服器; hadoop-2.7.3.tar.gz安裝包; jdk-8u77-linux-x64.tar.gz安裝包; hostname及IP的配置: 更改主機名: 由於系統為CentOS 7,可以直接使用‘hostnamectl set-hostname 主機

linux下安裝hadoop分散式叢集

1.    在虛擬機器上安裝了centos7, 下載hadoop。http://hadoop.apache.org/releases.html  這裡選擇2.7版本而不是3.0版本 不選3.0版本的理由,檢視版本更新日誌

hadoop 分散式環境搭建—— 詳細步驟

材料:三臺 linux 虛擬機器 hadoop2.7.2 版本 以下全分散式搭建步驟 :前期分別 配置好JDK 建立hadoop 使用者 設定好主機名稱 hosts 主機地址對映  免密登入  防火牆關閉  三臺虛擬機器的互相通訊   開始安裝

搭建hadoop分散式叢集環境過程中遇見的問題總結

1、網路配置問題: 在centos7中配置網路環境後,本機(win10系統)與虛擬機器centos7網路不通(本機可以ping通虛擬機器,但是虛擬機器ping不通本機); 解決方式: 方式1:檢視本機win10系統的防火牆是否關閉,若沒有,直接關閉win10系統的防火牆即可; 方式2

windows10下 eclipse連線虛擬機器中的Hadoop分散式叢集

在windows用eclipse連線hadoop之後,可以便於進行mapreduce開發,非常方便,如果在虛擬機器裡面用eclipse的話  ,emmmmmm,你會卡到懷疑人生。     首先需要去下載eclipse,這個直接官網就ok  link

hadoophadoop完全分散式叢集安裝

文章目錄 前言 裝備 Core 總結 前言 後面準備更新hdfs操作(shell命令版本),hbase,hive的操作。 所以這裡先更新一下hadoop叢集安裝。 裝備 1.hadoop-2.6.5.tar.gz

史上最簡單詳細的Hadoop完全分散式叢集搭建

一.安裝虛擬機器環境 Vmware12中文官方版 連結:https://pan.baidu.com/s/1IGKVfaOtcFMFXNLHUQp41w 提取碼:6rep 啟用祕鑰:MA491-6NL5Q-AZAM0-ZH0N2-AAJ5A 這個安裝就十分的簡單了,只需要不斷點選下

hadoop分散式叢集的搭建

叢集配置: jdk1.8.0_161 hadoop-2.6.1 linux系統環境:Centos6.5 建立普通使用者  dummy  Hadoop偽分散式叢集搭建: 為普通使用者新增sudo許可權: 設定之前必須得安裝sudo,先su  輸入密碼進入root使用者

hbase 在三臺centos7上的分散式叢集配置部署

linux映象是centos7  Hadoop版本2.8.0  zookeeper版本3.5.1  hbase版本1.3.1  jdk 1.8 hadoop 部署 zookeeper的部署 hbase的部署  注意點一:在叢集各個節點