1. 程式人生 > >hadoop叢集環境搭建的血淚史

hadoop叢集環境搭建的血淚史

寒假從老家回來之後就著手hadoop叢集環境的搭建,預期兩天干完,最後花了四天才搞定。一方面是寒假裡比較懶散,做事沒什麼效率,另一方面也的確是受了誤導,走了不少彎路。網上hadoop叢集環境搭建的文章一搜一大把,但真正靠譜的沒幾篇,要麼是hadoop版本太老,要麼是步驟有缺漏。最後還是看師兄發給我的“7天學會hadoop”視訊,才解決了問題。說實話,以前我挺看不起帶標題是這種“X天學會XX”的東西,如今才感覺到這種東西也有它的價值。

環境:

win7環境下用vmware建立了3臺虛擬機器,系統都是ubuntu14.04,hadoop版本2.6.4。

問題:

1.ip的問題。

在配置ssh免密碼認證時出現了master連不上slave2的情況。在slave2上用ifconfig命令查詢ip,發現slave2的ip地址竟然自動改變了,我靠!百度之後才知道有動態ip和靜態ip之分,之後折騰了大半個下午才搞定。

2./etc/hosts檔案的配置

ubuntu的這個檔案中把主機名對映到ip127.0.1.1。我栽在了這個"臭名昭著"(apache文件中這麼說的)的對映關係上。這個關係一定要註釋掉,不然就刪除掉,然後再加上自己的ip地址。

學新東西,熱情很重要,學習資料也很重要,靠譜的資料能帶你有效的避開很多坑。

另外在查問題的過程中發現一張比較靠譜的帖子,建議需要搭建hadoop叢集環境的朋友去這裡看:http://www.aboutyun.com/thread-7684-1-1.html

相關推薦

hadoop叢集環境搭建血淚史

寒假從老家回來之後就著手hadoop叢集環境的搭建,預期兩天干完,最後花了四天才搞定。一方面是寒假裡比較懶散,做事沒什麼效率,另一方面也的確是受了誤導,走了不少彎路。網上hadoop叢集環境搭建的文章一搜一大把,但真正靠譜的沒幾篇,要麼是hadoop版本太老,要麼是步驟有缺

大資料作業(一)基於docker的hadoop叢集環境搭建

主要是根據廈門大學資料庫實驗室的教程(http://dblab.xmu.edu.cn/blog/1233/)在Ubuntu16.04環境下進行搭建。 一、安裝docker(Docker CE) 根據docker官網教程(https://docs.docker.

Hadoop叢集環境搭建(雲伺服器,虛擬機器都適用)

為了配置方便,為每臺電腦配置一個主機名: vim /etc/hostname 各個節點中,主節點寫入:master , 其他從節點寫入:slavexx 如果這樣修改不能生效,則繼續如下操作 vim /etc/cloud/cloud.cfg 做preserve_hostname: true 修改 reb

hadoop叢集環境搭建之偽分散式叢集環境搭建

搭建叢集的模式有三種 1.偽分散式:在一臺伺服器上,啟動多個執行緒分別代表多個角色(因為角色在叢集中使用程序表現的) 2.完全分散式:在多臺伺服器上,每臺伺服器啟動不同角色的程序,多臺伺服器構成叢集 node01:NameNode node02:

VMware 下Hadoop叢集環境搭建之虛擬機器克隆,Hadoop環境配置

在上一篇我們完成了ContOS網路配置以及JDK的安裝,這一篇將在上一篇的基礎上繼續講解虛擬機器的克隆,hadoop環境搭建 虛擬機器克隆. 利用上一篇已經完成網路配置和jdk安裝的虛擬機器在克隆兩臺虛擬機器. 1. 將擬機hadoop01關機.

CDH版本Hadoop叢集環境搭建詳解

1、CDH版本hadoop重新編譯 1.1 為什麼要編譯? 由於cdh給出的hadoop的安裝包並沒有提供帶C程式訪問的介面,所以我們在使用本地庫(本地庫可以用來做壓縮,以及支援C程式等等)的時候就會出問題,所以一般需要自己重新編譯。 1.2 編譯環境的準備

Hadoop叢集環境搭建 與Hdfs

Hadoop部分 一、修改Hostname 命令:[[email protected] ~] vi /etc/sysconfig/network  開啟檔案後,(每個虛擬機器主機名不同) NETWORKING=yes #使用網路 HOSTNAME=hadoop0

大資料Hadoop叢集環境搭建(五)

Hadoop環境搭建Hadoop本地模式安裝 Hadoop部署模式 Hadoop部署模式有:本地模式、偽分佈模式、完全分散式模式。 區分的依據是NameNode、DataNode、ResourceManager、NodeManager等模組執行在幾個JVM程序、幾個機器。 一、本地模

大資料Hadoop叢集環境搭建(四)

安裝JDK 安裝Java JDK 1、 檢視是否已經安裝了java JDK。 [[email protected] Desktop]# java –version 注意:Hadoop機器上的JDK,最好是Oracle的Java JDK,不然會有一些問題,比如可能沒

大資料Hadoop叢集環境搭建(三)

在配置hadoop環境中 一、修改Hostname 1. 臨時修改hostname [[email protected] localhost]# hostname hadoop 這種修改方式,系統重啟後就會失效。 2、 永久修改hostname 想永久修改,應

大資料Hadoop叢集環境搭建(二)

第一部分 Linux環境安裝 一、Vmware網路模式介紹 參考:http://blog.csdn.net/collection4u/article/details/14127671 二、Linux環境VMware14與CenterOs7安裝版本 參考:https://blo

大資料Hadoop叢集環境搭建(一)

前言 Hadoop在大資料技術體系中的地位至關重要,Hadoop是大資料技術的基礎,對Hadoop基礎知識的掌握的紮實程度,會決定在大資料技術道路上走多遠。 這是一篇入門文章,Hadoop的學習方法很多,網上也有很多學習路線圖。本文的思路是:以安裝部署Apache Hadoop2.x

hadoop叢集環境搭建

和單機環境相比,叢集環境有一些不同,這裡以兩個節點為例 master:10.1.108.64 slave1:10.1.108.63 namenode:master datanode:master,slave1 resourcenode:master 1./etc/

搭建Hadoop叢集環境時遇到的一些問題

最近在學習搭建hadoop叢集環境,在搭建的過程中遇到很多問題,在這裡做一些記錄。1. SSH相關的問題  問題一: ssh: connect to host localhost port 22: Connection refused  問題二: 遠端連線需要輸入密碼。  參照以下部落格即可解決:    Li

在Linux的Centos6.5搭建hadoop叢集環境

Centos6.5搭建hadoop叢集環境 先概括一下整體思路 安裝centos6.5主機 關閉防火牆和selinux 配置網路 時間同步 ssh無密碼登入設定 安裝jdk 安裝hadoop 啟動 wordcount測試 安

Hadoop最完整分散式叢集環境搭建

分散式環境搭建之環境介紹 之前我們已經介紹瞭如何在單機上搭建偽分散式的Hadoop環境,而在實際情況中,肯定都是多機器多節點的分散式叢集環境,所以本文將簡單介紹一下如何在多臺機器上搭建Hadoop的分散式環境。 我這裡準備了三臺機器,IP地址如下: 192.16

hadoop分散式叢集環境搭建

參考 http://www.cnblogs.com/zhijianliutang/p/5736103.html   1 wget http://mirrors.shu.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2

搭建多個節點的hadoop叢集環境(CDH)

提示:如果還不瞭解Hadoop的,可以下檢視這篇文章Hadoop生態系統,通過這篇文章,我們可以首先大致瞭解Hadoop及Hadoop的生態系統中的工具的使用場景。 搭建一個分散式的hadoop叢集環境,下面是詳細步驟,使用cdh5 。 一、硬體準備

CentOS 6.5 hadoop 2.7.3 叢集環境搭建

CentOS 6.5 hadoop 2.7.3 叢集環境搭建 所需硬體,軟體要求 使用 virtualbox 構建三臺虛擬機器模擬真實物理環境 作業系統:CentOS6.5 主機列表: master ip: 192.168.3.171 slav

Hadoop叢集搭建(二)配置JAVA環境

軟體環境 作業系統 CentOS 6.4 64bit (Basic Server + 桌面環境) 虛擬機器 VMware Workstation 12.0