1. 程式人生 > >Ubuntu16.04下Hadoop3.1的安裝與配置

Ubuntu16.04下Hadoop3.1的安裝與配置

1. 下載壓縮包

Hadoop環境需要安裝java,若未安裝見:java下載與安裝

然後到官網下載對應的安裝包,然後解壓到本地目錄下.

2. 配置環境變數

sudo gedit ~/.bashrc

然後設定環境變數(路徑根據自己的設定)

export HADOOP_HOME=/usr/hadoop-3.1.0/
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

設定完成好使其生效:

source ~/.bashrc

3. 配置Hadoop

編輯以下檔案:
檔案在Hadoop資料夾“/etc/hadoop/”目錄下
core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value
>
1</value> </property> </configuration>

hadoop-env.sh (設定java的路徑)
找到JAVA_HOME行,如下圖所示,根據自己的路徑進行設定:
這裡寫圖片描述

4.執行並測試

依次輸入如下命令:

bin/hdfs namenode -format

sbin/start-dfs.sh

bin/hdfs dfs -mkdir /user

bin/hdfs dfs -mkdir /user/xxx

bin/hdfs dfs -mkdir input

bin/hdfs dfs -put etc/hadoop/*.xml input
//將要處理的資料輸入 bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.0.jar grep input output 'dfs[a-z.]+' bin/hdfs dfs -get output output//將輸出提取到本地的output資料夾內 cat output/* bin/hdfs dfs -cat output/* sbin/stop-dfs.sh //結束

相關推薦

ubuntu16.04vim的安裝配置

一、安裝vim 使用命令$ sudo apt-get install vim 來安裝vim,安裝後的vim需要進行一些配置,不然使用起來會有些不方便,比如不會自動縮排。 二、配置vim 使用命令$ vim /etc/vim/vimrc修改vim配置檔案 (修改該檔案對所有使用者都

Ubuntu16.04 hadoop的安裝配置(偽分散式環境)

export JAVA_HOME=/usr/lib/jvm/java export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH

Ubuntu16.04Java環境安裝配置

1、下載jdk。 2、驗證java是否安裝,使用java -version命令,如下圖所示說明沒有安裝: 3、在usr目錄中建立一個jdk-8目錄,如下圖所示: 4、配置系統環境變數,編輯/e

Linux ubuntu16.04vim的安裝配置

一、安裝vim使用命令sudo apt-get install vim來安裝vim。sudo apt install vim二、進行vim配置,便於使用。set ai

Ubuntu16.04Hadoop3.1安裝配置

1. 下載壓縮包 Hadoop環境需要安裝java,若未安裝見:java下載與安裝 然後到官網下載對應的安裝包,然後解壓到本地目錄下. 2. 配置環境變數 sudo gedit

Ubuntu18.04Anaconda3的安裝配置

這篇部落格為在Ubuntu18.04上基於 Anaconda3 安裝編譯 Caffe-GPU的詳細教程中第一步。由於教程之詳細,放在一篇部落格中影響閱讀體驗,所以按照安裝順序分為了三個部分,具體每一部分點開連結即可訪問。 一、Ubuntu18.04下Anaconda3的安裝與配置 二

ubuntu16.04anaconda3的安裝配置,jupyter notebook的簡單使用

ubuntu16.04下anaconda3+pycharm的安裝和配置 1,anaconda3的安裝 linux可以下載這個版本 下載完後會出現一個名為Anaconda3-5.2.0-Linux-x86_64.sh的一個指令碼檔案 輸入命令 bash  Ana

ubuntu16.04sublime text3安裝配置

1.安裝方法1)使用ppa安裝sudo add-apt-repository ppa:webupd8team/sublime-text-3sudo apt-get updatesudo apt-get install sublime-text-installer解除安裝 su

Ubuntu14.04Vim的安裝配置

1.Vim的安裝: 輸入命令:sudo apt-get install vim-gtk 2.Vim的配置: (1)剛安裝的VIM,可能介面並不是十分友好,這就需要我們去更改vim的配置檔案,按照我們的需求去修改它。 在命令列下,輸入命令:sudo vim /etc/vim/vimrc 在這個檔案

Ubuntu16.04mongodb的安裝、使用者配置、遠端連線

一、安裝mongodb     安裝過程,參考:https://www.cnblogs.com/hupeng1234/p/7000499.html     版本更新可以及時跟蹤官網:     https://docs.mongo

linuxfcitx的安裝配置

size 用戶 har odi port nano 退出 cloud 保存 首先安裝fcitx pacman -S fcitx-im fcitx-config fcitx-cloudpinyin 之後進行配置 nano ~/.xprofile 寫入 exp

ubuntu16.04apt-get安裝mysql5.7,文件目錄結構

數據 mysql5.7 5.7 conf rec roo lib star 安裝mysql 配置文件 [email protected]/* */:/etc/mysql# tree.├── conf.d│ ├── mysql.cnf

ubuntu16.04源碼安裝onos1.0.2

版本選擇 ash tool lean 相同 3.2 鏈接 com 但是 由於工作需要,下載安裝onos1.0.2的版本,大家看需求可以下載安裝更高級的版本 參考鏈接:http://www.sdnlab.com/14650.html 1.系統環境 Ubuntu16.04 LT

ubuntu16.04mysql的安裝和卸載。

root密碼 編輯 ide conf oot 提示 ubunt ica ges 一、  以前都是在windows上使用mysql數據庫,到Linux上還不是很熟悉,這也作為自己的一個記錄。   首先MySQL官方也給出了兩種安裝方式:   一:下載安裝包的形式, 因為我個人

CentOS6.5 Nginx 的安裝配置

ffffff style 指定 this load() 應用 case 編譯 $? 昨天買了個服務器最近在配置一些基礎環境,想在訪問www.wzpbk.com:8080 不想要後面的:8080就能直接訪問到,聽說了Nginx就研究下給服務器裝上傳說中大名鼎鼎 Ng

CentOS7 64位MySQL5.7安裝配置

mmu html sql -o ces valid ica strong med 1、下載並安裝MySQL官方的 Yum Repository 下載安裝用的Yum Repository [root@izm5e14weg5qigotah0j80z ~]# wget -i

ubuntu16.04c編程環境配置及vim基本配置

rul name 光標位置 hls 更多 utf 避免 進入 install 配置編程環境:sudo apt-get install vim sudo apt-get install g++

CentOS 6OpenCV的安裝配置

sta 依賴 pack fat net 1.5 並且 num 執行c 自己按照網上的教程一步一步來的 http://www.jb51.net/os/RedHat/280309.html 虛擬機環境 CentOS 6.5 內核版本:4.1.14 64位 gcc,gcc 4.4

jprofiler9.1.1 安裝配置

gtest jprofiler total 再次 pos pan 文件 rar 安裝包 一、安裝部分 安裝包: 1、jprofiler_linux_9_1_1.rpm 2、jprofiler_windows-x64_9_1_1.exe 需要註意的是,Linux

LinuxTomcat的安裝配置

Linux Tomcat首先要確定你的Linux上已經安裝好了JDK,並在/etc/profile 中完成環境變量配置。 安裝Tomcat軟件訪問http://tomcat.apache.org/download-60.cgi 下載tar.gz版本 [root@localhost ~]# tar -zxvf