1. 程式人生 > >2018/11/25 一次性搭建hdfs分散式叢集

2018/11/25 一次性搭建hdfs分散式叢集

整體思路:

1Vmware11 安裝Centos 6Minimal 教程

2使用minimal映象 安裝虛擬機器

A這一步就開始克隆,克隆的機器只需要改下主機名與windows——hosts裡面配置就能ping通

B:BOOTPROTO=static 改成靜態的,否則當你重新啟動那麼虛擬機器ip就會變,就連不上SecureCRT

 上面如果出現問題,可以在這裡改:

VMware Workstation ——system——network connection

C:閘道器與ip的理解

在Vmware裡面看不到閘道器與ip,只能在編輯——虛擬網路器編輯裡面看子網ip與子網掩碼

                                                  只能在虛擬機器設定——網路介面卡——高階——看MAC地址

因此需要在windows——cmd——ipconfig看

D:克隆時,當eth0與eth1衝突,目前來看不影響ping,不知道以後會不會影響其他

解決原理:a將當下生成的mac地址刪除,並刪除配置檔案

                or b將當下mac地址改成新生成的,並修改配置檔案,刪除eth0那一段,將eth1那段指向eth0 

E:有時候,你克隆的時候網絡卡直接就直接是eth1,並沒有eth0,這個時候需要按照eth1來配

當然下次可以嘗試下面這種方法

就是上述的b+

按照以上操作,先手動生成mac,然後修改/etc/udev/rules.d/70-persistent-net.rules檔案,把eth1改為eth0,修改對於mac,最後修改/etc/sysconfig/network-scripts/ifcfg-eth0檔案的mac,重啟網路後失敗,重啟伺服器後,70-persistent-net.rules又會重新生成一個eth1。

解決上述問題就是,用重新生成的eth1中的mac,來替換/etc/sysconfig/network-scripts/ifcfg-eth0檔案的mac,然後重啟服務,問題就解決了。

F:需關閉防火牆:

關閉防火牆:service iptables stop  

關閉防火牆自啟: chkconfig iptables off

3連線SecureCRT,配置免密登入

按照之前方法複雜度:n(n-1)

下面方法複雜度:2n

ssh免密登入

1.安裝ssh.  sudo apt-get install ssh. 安裝完成後會在~目錄(當前使用者主目錄,即這裡的/home/xuhui)下產生一個隱藏資料夾.ssh(ls -a 可以檢視隱藏檔案)。如果沒有這個檔案,自己新建即可(mkdir .ssh).

2.進入.ssh目錄下面,在每臺機器上執行:ssh-keygen -t  rsa  之後一路回車,產生金鑰;

3。完成第二步後會產生兩個檔案:

id-rsa     #私鑰
id-rsa.pub   #公鑰
4.在第一臺機器的目錄.ssh下執行命令,cat  id-rsa.pub >> authorized_keys;此後.ssh下面會出現authorized_keys檔案。

5.然後將第一臺機器的.ssh目錄下面的authorized_keys檔案拷貝到第二臺計算機的.ssh目錄下,如:scp authorized_keys [email protected]:~/.ssh/

6.再轉到第二臺機器的.ssh目錄下,會發現剛剛傳輸過來的檔案-authorized_keys,然後執行命令,將第二臺計算機的公鑰也加進來,如:cat id-rsa.pub >> authorized_keys.

7.將第二臺計算機新生成的authorized_keys傳輸第三臺計算機,將第三臺計算機的公鑰-id-rsa.pub新增到從第二臺計算機傳過來的authorized_keys裡面。

8.依次類推,直至最後一臺計算機。

9.在最後一臺計算機執行完新增後,生成的authorized_keys檔案就包含所有計算機的公鑰,如果以後還有機器加進來,可以直接新增到檔案-authorized_keys。最後,將最後生成的authorized_keys複製到每一臺計算機的.ssh目錄下,覆蓋掉之前的authorized_keys。

10.完沉第九步後,就可以在任意一臺計算機上,免密碼ssh登入到其他計算了。(轉載https://www.cnblogs.com/hrx-star/p/5795765.html

按照上述方法最後出來,slave不能連線到master,可是那個authorized_keys檔案含有所有檔案的公鑰

4linux下安裝jdk

A軟連結的目的:類似於windows中的快捷方式

B具體配置主要是配置版本以及環境變數

Echo是為用Java開發Web應用程式提供的一個面向物件,事件驅動的框架

Echo 命令:打開回顯或關閉請求回顯功能,或顯示訊息。如果沒有任何引數,echo 命令將顯示當前回顯設定。

C:scp報錯 -bash:scp:command not found

         檢視openssh相關包: rpm -qa openssh*

   解決方式:yum 安裝openssh客戶端   yum install opensssh-clients

5搭建hdfs分散式叢集

我現在的問題是子節點datanode無法顯示出來

估計原因:nameNode進行format多次,導致nameNode和dataNode的版本不一致;

嘗試方法:1刪除tmp檔案,重新格式化處理

                  2修改每個Slave的clusterID使其與Master的clusterID一致。

                  都不行

1 上面5步本來是從第2步開始就應該有多臺機器,可是我現在打算從第一步直接操作到hadoop檔案配置中的:5) 啟動HDFS前,那麼相應地也只需要更改一下主機名以及windows設定就行

2多去嘗試網上hadoop安裝方法

3先看文件,一定先搞懂原理,再進行操作 

4具體如何去看對應的日誌,還需要解決

相關推薦

2018/11/25 一次性搭建hdfs分散式叢集

整體思路: 1Vmware11 安裝Centos 6Minimal 教程 2使用minimal映象 安裝虛擬機器 A這一步就開始克隆,克隆的機器只需要改下主機名與windows——hosts裡面配置就能ping通 B:BOOTPROTO=static 改成靜態的,否則當你重新啟動那麼

2018/11/25 一次性搭建hdfs分散式叢集

整體思路: 1Vmware11 安裝Centos 6Minimal 教程 2使用minimal映象 安裝虛擬機器 A這一步就開始克隆,克隆的機器只需要改下主機名與windows——hosts裡面配置就能ping通 B:BOOTPROTO=static 改成靜態的,否則

day2-搭建hdfs分散式叢集

1、搭建hdfs分散式叢集 4.1 hdfs叢集組成結構:     4.2 安裝hdfs叢集的具體步驟: 一、首先需要準備N臺linux伺服器 學習階段,用虛擬機器即可! 先準備4臺虛擬機器:1個namenode節點  + 3 個datanode 節點  

搭建Hadoop 分散式叢集的時候,多次格式化檔案系統,啟動hdfs,yarn,後jps 發現datanode為啟動

可以參考:https://www.cnblogs.com/dxwhut/p/5679501.html https://blog.csdn.net/baidu_15113429/article/details/53739734 https://www.cnblogs.com/lishpei/p

2018/11/25 Vue 2.9.x 腳手架搭建

今日總結: 用Velocity.js 實現JS動畫 Vue 開發環境準備以及腳手架搭建 Vs code 的 ESLint 配置 多頁應用與單頁應用區別 防止圖片沒載入完後續內容受到抖動的影響 用Velocity.js 實現JS動畫 1.用Velocity.

centos7.3中搭建hadoop分散式叢集環境詳細過程

一、準備工作 1、準備3臺物理機或者虛擬機器; 2、安裝centos7系統; 3、準備好相關軟體包並拷貝相關軟體到目標伺服器上 hadoop-2.9.0.tar.gz jdk-8u131-linux-x64.tar.gz 二、配置網路 1、設定靜態網路ip 1)設定靜

Spark學習筆記(三) Ubuntu搭建Hadoop分散式叢集

Ubuntu搭建Hadoop分散式叢集 執行環境 配置目標 搭建Hadoop分散式叢集步驟 1 搭建master 1.1 安裝JDK 1.2 安裝SSH 1.3 安裝Hadoop 2

搭建ELK日誌分析平臺(上)—— ELK介紹及搭建 Elasticsearch 分散式叢集

轉:http://blog.51cto.com/zero01/2079879 筆記內容:搭建ELK日誌分析平臺(上)—— ELK介紹及搭建 Elasticsearch 分散式叢集筆記日期:2018-03-02 27.1 ELK介紹 27.2 ELK安裝準備工作 27.3 安

2018.11.25日脈象記錄

加強 時間 兩個 都在 力度 發現 目的 11.2 1.2 2018.11.22日改方子 變化: 柴胡從9克減為6克 //感冒的癥狀減退? 天花粉15克加到30克    //這四個變化的原因都是附子+黨參導致的血熱,出汗,血虧,水少 大棗從4

安裝第三方包 2018.11.25

第一種 先在cmd中將pip升級到最新版本、輸入: python -m pip install --upgrade pip 檢查是否更新成功、輸入: pip show pip 安裝包、輸入: pip install 包名 第二種 在pycharm設定中安裝 file->Settin

安裝第三方包 2018.11.25

並且 ade 最新版本 顯示 下載 erp pip升級 技術分享 pycharm設置 第一種 先在cmd中將pip升級到最新版本、輸入: python -m pip install --upgrade pip 檢查是否更新成功、輸入: pip show pip 安

2018.11.25 struts2與OGNL表示式的結合

兩者的結合原理 底層原始碼分析 棧原理 先進後出 我們的valuestack其實是一個介面 在實現類中有這個引數 CompoundRoot的類繼承的是ArrayList,具體實現彈棧和壓棧的方法具體實現原理 在OgnlValueStac

T^T(1)問題(2018.11.25

這真的是我被顏表情皮的最慘的一次。。。沒有之一。。。 描述: T^T這個很像一個流淚的表情是不是!其實,它是T的T次方啦~。 當T比較大的時候T^T會非常大,現在只要你求這個數的個位就可以啦。 輸入: 輸入包括多組測試資料,每個測試資料只有一個數字T(0<T<2^31) 輸出:

2018-11-25

簡單流程(無返回值)code1 = 'for i in range (0,10):print(i)' compile1 = compile(code1,'','exec') exec(compile1) 簡單計算(有返回值) code2 = '1+2+3+4' compile2 = compile(co

2018-11-25隨筆-今天談談C++嵌入Python指令碼中遇到的問題

由於現在很多底層協議用C/C++,然後機器學習或者深度學習等演算法模型使用基於Python的TensorFlow來實現。所以現在C++用來做框架,做軟體介面,然後呼叫Python的演算法指令碼來進行計算是很常見的需求。 我們的專案中也存在著這樣的需求。下面來記錄一下相應的實現方式。 背景:C++上用MFC

2018.11.25 詞彙課 一

在不同的使用場景中,對詞彙的要求不同。   1閱讀詞彙:篇章語意,以讀懂長難句為主 2完型填空詞彙 :動詞片語,介詞片語  ,關鍵是語法和近義詞辨析,考的都是名詞 動詞 和介詞  3短文完成:近義詞辨析  長難句 4寫作詞彙:句子結構  寫作詞彙-

2018.11.25 AMC-ICPC 亞洲區域賽(焦作站)吊銀

11月23日 大清早,跟著wyb的腳步,早起跑過去聽方偉的編譯原理,然鵝一點都沒聽進去,在焦作胡辣湯群裡瘋狂灌水。。。 聽說焦作那邊冷得不行,前一天看天氣預報說那邊已經是2℃了,都快零下了,然鵝學校里正好都沒有厚的衣服。看隊友一個披著黑色大衣,另一個全身裹得嚴嚴實實,而我只有秋裝三件套,外套毛衣T恤衫,我

【省內訓練2018-11-25】Factorization

【思路要點】 用類似 M i

【省內訓練2018-11-25】Decomposition

【思路要點】 考慮計算每一個數的貢獻,即列舉一個數 i i

康貓100天-第一天-redis入門-2018-11-25

1.  zset(sorted set)操作     1.1 在set型別基礎上每個元素都關聯了一個分數,可以根據分數區間獲取元素     1.2 與list區別:list是通過連結串列實現,獲取兩端資料極快,訪問中間資料較慢,適合實現日