設定VirtualBox虛擬網絡卡的IP地址

·        設定虛擬機器中的網路設定

1.     在虛擬機器中選用host-only網路

2.     vi /etc/sysconfig/network 
NETWORKING=yes
GATEWAY=192.168.56.1

3.     vi/etc/sysconfig/network-sripts/ifcfg-enp0s3 TYPE=Ethernet IPADDR=192.168.56.100NETMASK=255.255.255.0

4.     修改主機名hostnamectl set-hostnamemaster (主機名千萬不能有下劃線！)

5.     如果需要虛擬機器上網還需要配置

6.     重啟網路service network restart

7.     檢查ssh服務的狀態service network restart

8.     互相ping，看是否測試成功，若不成功，注意防火牆的影響。關閉windows或虛擬機器的防火牆。systemctl stop firewalld systemdisable firewalld

·        使用XShell登陸

檢查ssh服務狀態systemctl status sshd (servicesshd status)，驗證使用XShell是否能登陸成功。

·        將hadoop

·        安裝JDK rpm -ivh ./xxxxx.jdk，驗證rpm-qa | grep jdk，在命令列中敲java命令，確認jdk已經安裝完成

jdk預設安裝在/usr/java目錄下

·        安裝hadoop

cd/usr/local
tar –xvf ./hadoop-2.7.2.tar.gz
把目錄修改為hadoopmv hadoop-2... hadoop
修改hadoop-env.sh
vi /usr/local/hadoop/etc/hadoop/hadoop-env.sh
修改exportJAVA_HOME 語句為export JAVA_HOME=/usr/java/default

·        關閉虛擬機器，複製3份

分別修改虛擬機器的ip和hostname，確認互相能夠ping通，用ssh登陸，同時修改所有虛擬機器的/etc/hosts，確認使用名字可以ping通

·        關閉各個機器上的防火牆 (master / slaves)

systemctlstop firewalld service

systemctldisable firewalld service

Linux系統下如何修改主機名

 格式化master

hdfs namenode -format

在master上啟動hadoop-daemon.sh start namenode

hadoop-daemon.sh stop namenode

啟動後會告訴你的日誌位置

starting namenode, logging to/usr/local/hadoop/logs/hadoop-root-namenode-master.out

[[email protected] hadoop]# jps

9492 NameNode

9564 Jps

[[email protected] hadoop]#

在slave上啟動hadoop-daemon.sh start datanode

hadoop-daemon.sh stop datanode

不過上述方法都用過了，依然沒有解決問題，下面一點是我如何解決了該問題的操作。

檢查每臺機器上的/etc/hosts檔案，將沒有用或不清楚作何用的ip:name對刪除，最後只留下了

127.0.0.1           localhsot

192.168.192.128     master

192.168.192.130     slave1

192.168.192.131     slave2

菜鳥Linux系列：[4]SSH免密碼登陸遠端伺服器

執行

hadoop-daemon.sh start namonode

後報錯

Error: Could not find or load main classnamonode

執行jps後再執行就好了

hadoop fs -put ./test.txt /

這個才是正確的命令

儲存進去的只有一個datanode

17/09/05 00:33:04 INFO hdfs.DFSClient:Exception in createBlockOutputStream

java.io.IOException: Got error, statusmessage , ack with firstBadLink as 192.168.192.136:50010

         atorg.apache.hadoop.hdfs.protocol.datatransfer.DataTransferProtoUtil.checkBlockOpStatus(DataTransferProtoUtil.java:140)

         atorg.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.createBlockOutputStream(DFSOutputStream.java:1359)

         atorg.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1262)

         atorg.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:448)

將slave2

service network stop

然後再

 service networkrestart

或許是下面的解決方法

把IP換成主機名，datanode 掛不上解決方法：1、先執行stop-all.sh

2、格式化namdenode，不過在這之前要先刪除原目錄，即core-site.xml下配置的<name>hadoop.tmp.dir</name>所指向的目錄，刪除後切記要重新建立配置的空目錄，然後執行hadoop namenode -format

3、執行start-all.sh

由於重新配置了hadoop.tmp.dir 目錄，意味著，必須重新格式hdfs

#bin/hadoop namenode -format

hdfs://master:9000/user/hadoop/input

hdfs://master:9000/user/hadoop/output

Exception in thread "main" java.io.IOException: (null) entry in command string:null chmod 0700 D:\tmp\hadoop-Administrator\mapred\staging\root1663373669\.staging

    atorg.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:769)

Xuyao

把hadoop.dll和winutile.exe放到hadoop的bin資料夾裡需要32

重啟network的錯誤：

Restartingnetwork (via systemctl): Job for network.service failed. See *systemctl statusnetwork.service* and *journalctl -xn* for details.
[FAILED]
$ sudo systemctl status network.service
network.service - LSB: Bring up/down networking
Loaded: loaded (/etc/rc.d/init.d/network)
Active: failed (Result: exit-code) since Fri2014-08-15 22:31:20 EDT; 43s ago
Process: 2641 ExecStart=/etc/rc.d/init.d/networkstart (code=exited, status=1/FAILURE)

vi/etc/sysconfig/network-scripts/ifcfg-eno16777736

配置改為：

bootproto=static

最近嘗試在windows開發MR程式並且提交Job，在解壓縮好hadoop，配置好環境變數後，

開啟cmd 輸入hadoop version 的時候出現以下錯誤：

Error: JAVA_HOMEis incorrectly set.

      Please update F:\hadoop\conf\hadoop-env.cmd

1.用路徑替代符

C:\PROGRA~1\Java\jdk1.8.0_91

PROGRA~1 ===== C:\Program Files 目錄的dos檔名模式下的縮寫長於8個字元的檔名和資料夾名，都被簡化成前面6個有效字元，後面~1，有重名的就 ~2,~3,

2.用引號括起來

"C:\ProgramFiles"\Java\jdk1.8.0_91

atorg.apache.hadoop.io.nativeio.NativeIO$Windows.access(NativeIO.java:557)

這個主要是hadoop.dll的位數要跟系統一樣；64位的。

需改ip地址可能遇到的問題

vi /etc/sysconfig/network


#編輯內容如下
NETWORKING=yes
GATEWAY=192.168.137.1




vi /etc/sysconfig/network-scripts/ifcfg-eth0 [編輯網絡卡的配置檔案] 
比如
vi /etc/sysconfig/network-scripts/ifcfg-eno16777736 
不同機器後面名字不同
cd /etc/sysconfig/network-scripts
去檢視


輸入上述命令後回車，開啟配置檔案，使用方向鍵移動游標到最後一行，進入編輯模式，輸入以下內容：


注意虛擬機器的埠開放範圍
IPADDR=192.168.137.130
NETMASK=255.255.255.0
GATEWAY=192.168.137.1


vi /etc/hosts
192.168.137.128 master
192.168.137.129 slave1
192.168.137.131 slave2

重啟master虛擬機器網路
service network restart

關閉windows或虛擬機器防火牆。

systemctl stop firewalld.service

如果是克隆的話記得把uuid改一下