1. 程式人生 > >我在安裝虛擬機器和Hadoop過程中遇到的問題和解決方法

我在安裝虛擬機器和Hadoop過程中遇到的問題和解決方法

下面是我自己在安裝hadoop過程中遇到的一些,希望對大家在安裝hadoop的時候有所幫助,少走彎路。

1、大家在修改完某些配置檔案後,記得用source命令是改過的配置檔案生效,不然你得重啟後才能生效,比如在安裝JDK的時候,要在/etc目錄下的profile檔案中加入環境變數,加入儲存後,要source一下該檔案,具體操作如下所示:

輸入命令: sudo gedit /etc/profile 進入到 profile 檔案,在檔案末尾加上以下內容
#set java Environment
export JAVA_HOME=/usr/lib/jvm/jdk/jdk1.6.0_43
export JAVA_BIN=/usr/lib/jvm/jdk/jdk1.6.0_43/bin
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME JAVA_BIN PATH CLASSPATH
執行命令: source /etc/profile 使得上步驟修改馬上生效

2、在安裝SSH時,要先檢視當前使用者下是否有.ssh資料夾,如果沒有,則輸入命令mkdir .ssh 3、在分配IP和相應角色的時候,我用的是三臺虛擬機器,一臺當做master,兩臺當做slave,分別為slave1,slave2,在三臺虛擬機器中分別設定/etc/hosts/etc/hostname,如下面是master的/etc/hosts/etc/hostname

master的/etc/hosts:

127.0.0.1           localhost
192.168.1.145  master
192.168.1.146  slave1
192.168.1.147  slave2


master的/etc/hostname

master(slave上要改成相應的名字,比如我的slave1上的是slave1)


4、在進行IPV4設定的時候,在每一臺虛擬機器上都要設定,記得把自動連線勾上,不然每次重啟後不是連線這個網路。



5、在安裝Hadoop,配置相關的檔案的時候,配置Core-site.xml檔案的時候,hadoop.tmp.dir的值不要設定成/tmp,這樣在你重啟虛擬機器的時候,每次都要格式化一下hdfs才能正常啟動叢集,不然無法正常啟動,我自己的Core-site.xml檔案配置成如下所示:

<configuration>
    <property>  
        <name>fs.default.name</name>  
        <value>hdfs://master:9000</value>  
    </property>  
    <property>  
        <name>hadoop.tmp.dir</name>  
        <value>/home/cy/Hadoop/hadoop-1.2.1/tmp</value>  
    </property>  
</configuration>


6、在啟動叢集的時候,可能會出現警告:Warning: $HADOOP_HOME is deprecated.如下所示:

[email protected]:~/Hadoop/hadoop-1.2.1$ ./bin/start-all.sh    

Warning: $HADOOP_HOME is deprecated. 

這時,你只要在/etc/profile 配置檔案里加入這句就可以了:export HADOOP_HOME_WARN_SUPPRESS=1

加入儲存後,記得用命令source /etc/profile進行操作才會起效。

7、在啟動叢集的時候總是要一層一層地進入start-all.sh檔案所在的資料夾,這樣子很麻煩,要想直接啟動叢集而不用這麼麻煩,只要在/etc/profile 配置檔案里加入:export HADOOP_HOME=/home/你的使用者名稱/Hadoop/hadoop-1.2.1 
         export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

加入儲存後,記得用命令source /etc/profile進行操作才會起效。這時候你只要輸入start-all.sh即可啟動機群,如下所示:

[email protected]:~$ start-all.sh

以上就是我在安裝hadoop的時候遇到的一些問題,希望對大家有所幫助

相關推薦

安裝虛擬機器Hadoop過程遇到的問題解決方法

下面是我自己在安裝hadoop過程中遇到的一些,希望對大家在安裝hadoop的時候有所幫助,少走彎路。 1、大家在修改完某些配置檔案後,記得用source命令是改過的配置檔案生效,不然你得重啟後才能生效,比如在安裝JDK的時候,要在/etc目錄下的profile檔案中加入環

搭建3個節點的hadoop叢集(完全分散式部署)--1 安裝虛擬機器hadoop元件

昨晚搞到晚上11.30,終於把hadoop元件安裝好了,執行試了下,正常...這裡記錄下完全分散式hadoop叢集的搭建步驟。1.VWMare平臺安裝之前已經安裝好了,這裡不詳細說明。2.安裝CentOS虛擬機器1)下載好centos ISO安裝檔案,我安裝的是centos6

linux安裝軟體過程版本衝突解決方法

在安裝pcre的過程中,報錯:Invalid C++ compiler or C++ compiler flags。百度了下說是需要安裝g++,於是敲入命令  yum install gcc-c++,又報了一對錯: --> Running transaction c

oracle啟動/停止的幾種方法以及 啟動停止過程出錯的解決辦法

一、啟動幾種方法: 1、 sqlplus /nolog connect /as sysdba startup 2、 sqlplus /nolog connect /as sysdba startup nomount alter database mount alter database o

本地電腦訪問本機電腦虛擬機器上的redis遇到的問題解決方法

public static void main(String[] args) { JedisShardInfo jedisShardInfo=new JedisShardInfo("192.168.98.129",6379); Jedis jedis=new Jedis(

VMware複製ubuntu16虛擬機器時提示控制代碼無效解決方法

第一步: 找到如下圖所示檔案:(Ubuntu16-32為虛擬機器名稱,每個人設定的不一樣,注意) 第二步: 以記事本開啟第一步找到的檔案 第三步: 修改下面圖示的一行程式碼,將"TRUE"改為"

虛擬機器非正常關機,啟動不了解決方法

虛擬機器centos7沒正常關機,物理機突然斷電了,開啟VMware卻開不了centos了 該虛擬機器似乎正在使用中。如果該虛擬機器未在使用,請按“獲取所有權(T)”按鈕獲取它的所有權。否則,請按“取消(C)”按鈕以防損壞。配置檔案xxxxx 解決辦法: 到你的安裝

Win7系統下Vmware虛擬機器無法使用USB裝置問題的解決方法

Windows7釋出後,Vmware也推出了新版的Vmware Workstation 7和Player 3,從功能上為Win7進行了優化。近日QQ上有一MM提到她的Vmware中安裝的XP虛擬機器只能檢測到連上的USB裝置(比如U盤,加密狗、手機之類),而無法載入到虛擬機器中使用,虛擬機器中沒有USB裝置的

在使用macbook pro過程遇到 ,解決方法

準備使用macbook pro做開發,結果發現以前註冊的Apple ID在登入App Store的時候出現如題的問題! 於是致電4006272273,蘋果的售後,在其幫助下一步一步解決了該問題! 1.開啟iTunes,點選左上角的登入,輸入Apple ID、密碼進行登入

關於在windows上遠行的虛擬機器為ubuntu16.04不能複製貼上的問題解決方案 Linux安裝 VMware tools 工具解決複製貼上的方法

VMware虛擬機器中如何安裝VMWare-Tools詳解好處:可以支援圖形介面,可以支援共享檔案功能等 1 工具/原料 1)安裝過虛擬機器軟體的計算機 2)linux------->Ubuntu 16.04作業系統 三行命令搞定Ubuntu 16.04下安裝VMware Tool

利用yum源安裝虛擬機器的服務

yum   yum軟體倉庫是為了進一步降低軟體安裝難度和複雜度而設計的技術。yum軟體倉庫可以根據使用者的要求分析出所需軟體包及其相關的依賴關係,然後自動從伺服器下載軟體包並安裝到系統。  YUM管理軟體  • yum 配置檔案 –/etc/yum.conf  • yum 原始檔 –/etc

關於在windows上遠行的虛擬機器為ubuntu16.04不能複製貼上的問題解決方案

Linux安裝 VMware tools 工具解決複製和貼上的方法 VMware虛擬機器中如何安裝VMWare-Tools詳解好處:可以支援圖形介面,可以支援共享檔案功能等 1 工具/原料 1)安裝過虛擬機器軟體的計算機 2)linux------->Ubuntu 16.04作業

linux基礎篇(九):Redhat7系統使用指令碼安裝虛擬機器

安裝虛擬機器 要安裝一個虛擬機器,我們需要開啟virt-manager然後一步一步的去設定才能到達安裝頁面,但是有沒有更好的辦法能夠只需要一部到達安裝虛擬機器的頁面呢,下面就給大家展示用指令碼直接到達安裝一個虛擬機器的頁面 安裝虛擬機器我們當然要在真機中操作,每一步都一定要仔細檢查

5-安裝虛擬機器NASM彙編器

1. 安裝虛擬機器Bochs    從上一篇中,我們知道計算機的啟動過程是從主引導扇區才真正開始的,而作業系統就是從這開始一步一步把自己執行起來的。其實換個角度想一下,如果我們把編譯好的程式放在主引導扇區,不也能夠讓處理器執行嗎?   正常來說是可以的,而且還是在不依賴作業系統的

安裝虛擬機器四】設定快照克隆

環境  VMware 10      CentOS-6.5-x86_64 建立快照 第一步:虛擬機器關機狀態 第二步: 第三步:建立完成   根據快照克隆 第一步:選擇要克隆的快照 第二步: 第三步: 第四步: 第五

VMware安裝虛擬機器及Centos 6系統的安裝

一.在VMware上安裝虛擬機器及系統 VMware官方網站:http://www.vmware.com 工具: VMware 15 CentOS-6.10-x86_64-bin-DVD1.iso CentOS 6系統下載連結: 1.基本要求(建議):  

win7安裝虛擬機器CentOS

工具:           VMware: 提取碼:m8sz           CentOS:由於Cen

Hadoop叢集虛擬機器網絡卡的介紹配置

很多人安裝虛擬機器的時候,經常遇到不能上網的問題,而vmware有三種網路模式,對初學者來說也比較眼花聊亂,今天我就來基於虛擬機器3種網路模式,幫大家普及下虛擬機器上網的背景知識 虛擬機器網路模式 無論是vmware,virtual box,virtual pc等

虛擬機器(vmware)安裝liux系統的時候,出現提示‘Unsupported Hardware Detected’ 親測有效

經過查詢,可以通過修改BIOS中的虛擬技術。我的電腦是win10,開啟windows然後點選設定,點選更新和安全,然後恢復,選擇立即重啟,選擇疑難解答,選擇高階選項,然後選擇UEFI韌體設定,在配置中選定虛擬技術,enter選擇enabled或者允許。 最後開啟vmware

HotSpot虛擬機器在java堆物件的分配、佈局訪問

一.物件的建立 二.物件的記憶體佈局(一個物件在記憶體中是怎樣儲存的) 在HotSpot虛擬機器中,物件在記憶體中儲存的佈局可以分為3塊區域:物件頭、例項資料和對齊填充 HotSpot虛擬機器的物件頭包括兩部分資訊:第一部分是用於儲存物件自身的執行時資料,如雜湊碼、