Ubuntu16.04下Hadoop3.1的安裝與配置
1. 下載壓縮包
Hadoop環境需要安裝java,若未安裝見:java下載與安裝
然後到官網下載對應的安裝包,然後解壓到本地目錄下.
2. 配置環境變數
sudo gedit ~/.bashrc
然後設定環境變數(路徑根據自己的設定)
export HADOOP_HOME=/usr/hadoop-3.1.0/
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
設定完成好使其生效:
source ~/.bashrc
3. 配置Hadoop
編輯以下檔案:
檔案在Hadoop資料夾“/etc/hadoop/”目錄下
core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value >1</value>
</property>
</configuration>
hadoop-env.sh (設定java的路徑)
找到JAVA_HOME行,如下圖所示,根據自己的路徑進行設定:
4.執行並測試
依次輸入如下命令:
bin/hdfs namenode -format
sbin/start-dfs.sh
bin/hdfs dfs -mkdir /user
bin/hdfs dfs -mkdir /user/xxx
bin/hdfs dfs -mkdir input
bin/hdfs dfs -put etc/hadoop/*.xml input //將要處理的資料輸入
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.0.jar grep input output 'dfs[a-z.]+'
bin/hdfs dfs -get output output//將輸出提取到本地的output資料夾內
cat output/*
bin/hdfs dfs -cat output/*
sbin/stop-dfs.sh //結束
相關推薦
ubuntu16.04下vim的安裝與配置
一、安裝vim 使用命令$ sudo apt-get install vim 來安裝vim,安裝後的vim需要進行一些配置,不然使用起來會有些不方便,比如不會自動縮排。 二、配置vim 使用命令$ vim /etc/vim/vimrc修改vim配置檔案 (修改該檔案對所有使用者都
Ubuntu16.04 下 hadoop的安裝與配置(偽分散式環境)
export JAVA_HOME=/usr/lib/jvm/java export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH
Ubuntu16.04下Java環境安裝與配置
1、下載jdk。 2、驗證java是否安裝,使用java -version命令,如下圖所示說明沒有安裝: 3、在usr目錄中建立一個jdk-8目錄,如下圖所示: 4、配置系統環境變數,編輯/e
Linux ubuntu16.04下vim的安裝與配置
一、安裝vim使用命令sudo apt-get install vim來安裝vim。sudo apt install vim二、進行vim配置,便於使用。set ai
Ubuntu16.04下Hadoop3.1的安裝與配置
1. 下載壓縮包 Hadoop環境需要安裝java,若未安裝見:java下載與安裝 然後到官網下載對應的安裝包,然後解壓到本地目錄下. 2. 配置環境變數 sudo gedit
Ubuntu18.04下Anaconda3的安裝與配置
這篇部落格為在Ubuntu18.04上基於 Anaconda3 安裝編譯 Caffe-GPU的詳細教程中第一步。由於教程之詳細,放在一篇部落格中影響閱讀體驗,所以按照安裝順序分為了三個部分,具體每一部分點開連結即可訪問。 一、Ubuntu18.04下Anaconda3的安裝與配置 二
ubuntu16.04下anaconda3的安裝和配置,jupyter notebook的簡單使用
ubuntu16.04下anaconda3+pycharm的安裝和配置 1,anaconda3的安裝 linux可以下載這個版本 下載完後會出現一個名為Anaconda3-5.2.0-Linux-x86_64.sh的一個指令碼檔案 輸入命令 bash Ana
ubuntu16.04下sublime text3安裝和配置
1.安裝方法1)使用ppa安裝sudo add-apt-repository ppa:webupd8team/sublime-text-3sudo apt-get updatesudo apt-get install sublime-text-installer解除安裝 su
Ubuntu14.04下Vim的安裝與配置
1.Vim的安裝: 輸入命令:sudo apt-get install vim-gtk 2.Vim的配置: (1)剛安裝的VIM,可能介面並不是十分友好,這就需要我們去更改vim的配置檔案,按照我們的需求去修改它。 在命令列下,輸入命令:sudo vim /etc/vim/vimrc 在這個檔案
Ubuntu16.04下mongodb的安裝、使用者配置、遠端連線
一、安裝mongodb 安裝過程,參考:https://www.cnblogs.com/hupeng1234/p/7000499.html 版本更新可以及時跟蹤官網: https://docs.mongo
linux下fcitx的安裝與配置
size 用戶 har odi port nano 退出 cloud 保存 首先安裝fcitx pacman -S fcitx-im fcitx-config fcitx-cloudpinyin 之後進行配置 nano ~/.xprofile 寫入 exp
ubuntu16.04下apt-get安裝mysql5.7,文件目錄結構
數據 mysql5.7 5.7 conf rec roo lib star 安裝mysql 配置文件 [email protected]/* */:/etc/mysql# tree.├── conf.d│ ├── mysql.cnf
ubuntu16.04下源碼安裝onos1.0.2
版本選擇 ash tool lean 相同 3.2 鏈接 com 但是 由於工作需要,下載安裝onos1.0.2的版本,大家看需求可以下載安裝更高級的版本 參考鏈接:http://www.sdnlab.com/14650.html 1.系統環境 Ubuntu16.04 LT
ubuntu16.04下mysql的安裝和卸載。
root密碼 編輯 ide conf oot 提示 ubunt ica ges 一、 以前都是在windows上使用mysql數據庫,到Linux上還不是很熟悉,這也作為自己的一個記錄。 首先MySQL官方也給出了兩種安裝方式: 一:下載安裝包的形式, 因為我個人
CentOS6.5 下Nginx 的安裝與配置
ffffff style 指定 this load() 應用 case 編譯 $? 昨天買了個服務器最近在配置一些基礎環境,想在訪問www.wzpbk.com:8080 不想要後面的:8080就能直接訪問到,聽說了Nginx就研究下給服務器裝上傳說中大名鼎鼎 Ng
CentOS7 64位下MySQL5.7安裝與配置
mmu html sql -o ces valid ica strong med 1、下載並安裝MySQL官方的 Yum Repository 下載安裝用的Yum Repository [root@izm5e14weg5qigotah0j80z ~]# wget -i
ubuntu16.04下c編程環境配置及vim基本配置
rul name 光標位置 hls 更多 utf 避免 進入 install 配置編程環境:sudo apt-get install vim sudo apt-get install g++
CentOS 6下OpenCV的安裝與配置
sta 依賴 pack fat net 1.5 並且 num 執行c 自己按照網上的教程一步一步來的 http://www.jb51.net/os/RedHat/280309.html 虛擬機環境 CentOS 6.5 內核版本:4.1.14 64位 gcc,gcc 4.4
jprofiler9.1.1 安裝與配置
gtest jprofiler total 再次 pos pan 文件 rar 安裝包 一、安裝部分 安裝包: 1、jprofiler_linux_9_1_1.rpm 2、jprofiler_windows-x64_9_1_1.exe 需要註意的是,Linux
Linux下Tomcat的安裝與配置
Linux Tomcat首先要確定你的Linux上已經安裝好了JDK,並在/etc/profile 中完成環境變量配置。 安裝Tomcat軟件訪問http://tomcat.apache.org/download-60.cgi 下載tar.gz版本 [root@localhost ~]# tar -zxvf