1. 程式人生 > >Hadoop叢集搭建通過指令碼配置hosts檔案

Hadoop叢集搭建通過指令碼配置hosts檔案

此指令碼需要expect命令,使用前確認一下機器收否有安裝:which expect

思路:1.編寫好要追加到hosts檔案內容的檔案(IP_hosts_test)

           2.編寫指令碼檔案testRead.sh(巢狀expect,實現自動登入),讀取上面的檔案,獲取ip,然後登入到其他機器,追加hosts

#!/bin/bash

ips=`cat IP_hosts_test |awk '{print $1}'`
for ip in $ips
do
    echo -e "\n-------------開始追加hosts檔案---------------------\n"

    password='rootroot'
    ip='127.0.0.1'
    echo -e "\n\n$ip\n"
     
    /usr/bin/expect<<EOF
    spawn scp /tmp/IP_hosts_test [email protected]$ip:/tmp/
    expect {
        "(yes/no)?" {
             send "yes\r"
             expect "*assword" {
                    send "$password\r"
                   }
          }
          "*assword" {
                send "$password\r" 
            }
    } 
    spawn ssh $ip
    expect {
        "(yes/no)?" {
             send "yes\r"
             expect "*assword" {
                   send "$password\r"
             }
         }
         "*assword" {
             send "$password\r" 
         }
    } 
    expect "*]#"
    send "cat /tmp/IP_hosts_test  >> /etc/hosts\r"
    expect eof
EOF
    echo -e "\n-------------追加hosts檔案結束---------------------\n"
done
 

相關推薦

Hadoop叢集搭建通過指令碼配置hosts檔案

此指令碼需要expect命令,使用前確認一下機器收否有安裝:which expect 思路:1.編寫好要追加到hosts檔案內容的檔案(IP_hosts_test)            2.編寫指令碼檔案testRead.sh(巢狀expect,實現自動登入),讀取上面

Hadoop叢集搭建-04安裝配置HDFS

Hadoop叢集搭建-03編譯安裝hadoop Hadoop叢集搭建-02安裝配置Zookeeper Hadoop叢集搭建-0

Hadoop叢集搭建-05安裝配置YARN

Hadoop叢集搭建-04安裝配置HDFS  Hadoop叢集搭建-03編譯安裝hadoop Hadoop叢集搭建-

Hadoop叢集搭建-02安裝配置Zookeeper

  Hadoop叢集搭建-05安裝配置YARN Hadoop叢集搭建-04安裝配置HDFS  Hadoo

centos7搭建hadoop叢集之xcall指令碼

在一些特定場景下,需要所有節點同時執行相同的命令,比如主機hadoop1執行ls命令,其他節點主機也同時執行ls命令,實現這種效果快捷方式一般有兩種: 1.使用工具,同一傳送執行命令,如SecureCRT,同時連線所有節點,在視窗下面可以直接輸入需要同時執行的命令。 優

ssh無密登入配置詳解(hadoop叢集搭建

ssh無密登入原理 注:私鑰和公鑰是每個使用者獨有的,而不是機器或者伺服器的,比如一臺電腦或者伺服器或者虛擬機器,可以同時存在多個使用者,但不同使用者需要遠端登入其他伺服器或者虛擬機器時,都必須配置各自的私鑰和公鑰,而且使用者之間的各不相同 常用命令 ssh ip(遠端登入也可

Liunx系統Hadoop叢集搭建配置

下面是hadoop安裝流程 進入下載頁面 http://archive.apache.org/dist/ 找到hadoop點選進入 2.在這個頁面點選common進去後可以看見各種版本的hadoop 3.在這裡我選擇安裝2.7.3版本的 4.點選進入下載t

關於hadoop配置hosts檔案的問題

在之前的一篇blog裡,寫到我的python指令碼無法正常執行,後來是修改了hosts檔案,今天有個同事又重新講解了下問題,發現之前的理解有誤差。 這裡在介紹一下另外一種方式,就是在每臺機器的host

HDFS環境搭建(單節點配置hadoop叢集搭建(hdfs)

【參考文章】:hadoop叢集搭建(hdfs) 1. Hadoop下載   官網下載地址:   https://hadoop.apache.org/releases.html,進入官網根據自己需要下載具體的安裝包   清華大學安裝包的映象檔案下載地址:   https://mirrors.tuna.

Hadoop》之"踽踽獨行"(九)Hadoop叢集的四個配置檔案的屬性解析

在啟動hadoop叢集的守護執行緒時,一定會載入並執行相關的class位元組碼檔案。通過common模組和hdfs模組裡的原始碼可以看到,它們讀取了相關的配置檔案。 hadoop-common-2.7.3-sources.jar下的org.apache.hadoop.conf.Configura

Hadoop叢集搭建——環境配置

一、叢集搭建注意問題說明 1、此處叢集環境搭建我使用了三臺主機進行模擬,分別為: hadoop-series.bxp.com hadoop-series1.bxp.com hadoop-series2.bxp.com 2、叢集搭建前需要注意的問題:

Hadoop----叢集搭建指南(下卷)

前言 什麼是Hadoop? Apache Hadoop is a framework for running applications on large cluster built of commodity hardware. The Hadoop framewor

Hadoop----叢集搭建指南(中卷)

前言 本文的搭建基於上卷的配置,環境不再一一贅述。網路配置好的5臺節點均可相互ping通,對於節點hadoop1(192.168.20.2)可以ping同其餘四臺hadoop2(192.168.20.3)、hadoop3(192.168.20.4)、hadoop4(192.16

Hadoop----叢集搭建指南(上卷)

前言 閱讀本文,需要具備Linux、計算機網路的基礎知識。所以在文中出現的相關基礎知識,均以連結的形式給出,務必理解該連結的內容後,繼續閱讀本指南。 叢集搭建的環境多種多樣,本文采用VitualBox安裝5臺虛擬機器構建叢集。具體環境: CentOS 6.5 6

CentOS7下靜態ip地址分配(Hadoop叢集搭建

作業系統是CentOS 在搭建Hadoop過程中,發現每一次啟動虛擬機器,ip地址就會變化。 這是由於一開始安裝CentOS的時候,有一個自動連線乙太網,他會自動給你分配ip地址,但是我們往往需要的是另一個。 首先看我的主機對映, 可以看到131,132,133 對應是,主機,

hadoop叢集搭建(docker)

背景     目前在一家快遞公司工作,因專案需要,對大資料平臺做個深入的瞭解。工欲利其器必先利其器,在網上找了許多教程,然後自己搭建一個本地的環境並記錄下來,增加一些印象。 環境搭建 1)Ubuntu   docker pull ubuntu:16.04 docker images&nb

Hadoop叢集搭建以及遇到問題詳解

轉載:http://dblab.xmu.edu.cn/blog/install-hadoop-cluster/ centos7單機、分散式、偽分佈:https://blog.csdn.net/qq_40938267/article/details/83416665  有詳細的搭建過程

分散式系統詳解--框架(Hadoop-叢集搭建

                 分散式系統詳解--框架(Hadoop-叢集搭建)        前面的文章也簡單介紹了,hadoop的環境搭建分為三種,單機版,偽分

Hadoop叢集的安裝與配置

一.準備Linux環境(虛擬機器)   1.先將虛擬機器的網路模式選為NAT   2.修改主機名   vi /etc/sysconfig/network       NETWORKING=yes HOSTNAME=hdp-node-01   

Hadoop叢集搭建一:Single node cluster

Hadoop叢集搭建一:Single node cluster 本文主要介紹在單個ubantu機器上搭建hadoop叢集。 1.ubuntu虛擬機器安裝 採用Vmware workstation10工具來安裝ubuntu系統,ubuntu使用的是64位的18.04-desktop版本