一、Ubuntu14.04下安裝Hadoop2.4.0 (單機模式)
一、在Ubuntu下建立hadoop組和hadoop使用者
增加hadoop使用者組,同時在該組裡增加hadoop使用者,後續在涉及到hadoop操作時,我們使用該使用者。
1、建立hadoop使用者組
2、建立hadoop使用者
sudo adduser -ingroup hadoop hadoop
回車後會提示輸入新的UNIX密碼,這是新建使用者hadoop的密碼,輸入回車即可。
如果不輸入密碼,回車後會重新提示輸入密碼,即密碼不能為空。
最後確認資訊是否正確,如果沒問題,輸入 Y,回車即可。
3、為hadoop使用者新增許可權
輸入:sudo gedit /etc/sudoers
回車,開啟sudoers檔案
給hadoop使用者賦予和root使用者同樣的許可權
二、用新增加的hadoop使用者登入Ubuntu系統
三、安裝ssh
sudo apt-get install openssh-server
安裝完成後,啟動服務
sudo /etc/init.d/ssh start
檢視服務是否正確啟動:ps -e | grep ssh
設定免密碼登入,生成私鑰和公鑰
ssh-keygen -t rsa -P ""
此時會在/home/hadoop/.ssh下生成兩個檔案:id_rsa和id_rsa.pub,前者為私鑰,後者為公鑰。
下面我們將公鑰追加到authorized_keys中,它使用者儲存所有允許以當前使用者身份登入到ssh客戶端使用者的公鑰內容。
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
登入ssh
ssh localhost
退出
exit
四、安裝Java環境
sudo apt-get install openjdk-7-jdk
檢視安裝結果,輸入命令:java -version,結果如下表示安裝成功。
五、安裝hadoop2.4.0
1、官網下載http://mirror.bit.edu.cn/apache/hadoop/common/
2、安裝
解壓
sudo tar xzf hadoop-2.4.0.tar.gz
假如我們要把hadoop安裝到/usr/local下
拷貝到/usr/local/下,資料夾為hadoop
sudo mv hadoop-2.4.0 /usr/local/hadoop
賦予使用者對該資料夾的讀寫許可權
sudo chmod 774 /usr/local/hadoop
3、配置
1)配置~/.bashrc
配置該檔案前需要知道Java的安裝路徑,用來設定JAVA_HOME環境變數,可以使用下面命令列檢視安裝路徑
update-alternatives - -config java
執行結果如下:
完整的路徑為
/usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java
我們只取前面的部分 /usr/lib/jvm/java-7-openjdk-amd64
配置.bashrc檔案
sudo gedit ~/.bashrc
該命令會開啟該檔案的編輯視窗,在檔案末尾追加下面內容,然後儲存,關閉編輯視窗。
#HADOOP VARIABLES START
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
#HADOOP VARIABLES END
最終結果如下圖:
執行下面命,使新增的環境變數生效:
source ~/.bashrc
2)編輯/usr/local/hadoop/etc/hadoop/hadoop-env.sh
執行下面命令,開啟該檔案的編輯視窗
sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh
找到JAVA_HOME變數,修改此變數如下
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
修改後的hadoop-env.sh檔案如下所示:
六、WordCount測試
單機模式安裝完成,下面通過執行hadoop自帶例項WordCount驗證是否安裝成功
/usr/local/hadoop路徑下建立input資料夾
mkdir input
拷貝README.txt到input
cp README.txt input
執行WordCount
bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.4.0-sources.jar org.apache.hadoop.examples.WordCount input output
執行結果:
執行 cat output/*,檢視字元統計結果
相關推薦
一、Ubuntu14.04下安裝Hadoop2.4.0 (單機模式)
一、在Ubuntu下建立hadoop組和hadoop使用者 增加hadoop使用者組,同時在該組裡增加hadoop使用者,後續在涉及到hadoop操作時,我們使用該使用者。 1、建立hadoop使用者組 2、建立hadoop使用者
Linux下使用Docker部署nacos-server:1.4.0(單機模式),喪心病狂的我在半夜給UCloud提交了一份工單
## 1. 拉取nacos-server映象 進入 [Docker Hub](https://hub.docker.com/r/nacos/nacos-server/tags?page=1&ordering=last_updated) 檢視nacos-server最新版本為 `nacos-server:1.
(一)搭建python3.4環境之ubuntu14.04下安裝多版本Python(親測有效)
轉自:http://www.cnblogs.com/ningvsban/p/4384995.html 今天一不小心又把ubuntu系統給完壞了,因為我把python3解除安裝了,然後就。。。好了,不廢話了,接下來就說一下如何在ubuntu下管理python的多
Ubuntu14.04下安裝Anaconda3-4.3.0後,無法建立虛擬環境的解決方法
因為研究需要,涉及到了強化學習(Reinforcement Learning, RL)內容,繼而進入了一個充滿荊棘的的領域。 強化學習方面的書籍寥寥無幾,98年,Richard S. Sutton出版了他的強化學習導論第一版,即Reinforcement Lea
【深度學習】ubuntu16.04下安裝opencv3.4.0
form 線程 ubunt con sudo ive tbb 依賴包 復制代碼 1、首先安裝一些編譯工具 # 安裝編譯工具 sudo apt-get install build-essential # 安裝依賴包 sudo apt-get install cmake
Ubuntu14.04中安裝Anaconda2-4.0.0的方法
1 介紹 我虛擬機器Ubuntu14.04上的Python已經存在了兩個版本,一個是python 2.7,一個是Python 3.4。想在它上面安裝Anaconda,但又有所顧慮。我先想到的是,先解除安裝Ubuntu自帶的Python,這是大多數人的想法。後來在網上搜了搜解決方案,不
ESP32搭建3.ubuntu14.04下搭建esp32開發環境 (最新版)
終端 pat 權限 技術 實例 為我 tro component 直接 硬件為樂鑫出品的ESP32一款集成了wifi和藍牙的集成模塊。 1.首先ctrl+alt+t打開終端,sudo -s選擇用root權限登陸 。 2. 輸入指令:sudo apt-get install
ubuntu14.04,安裝VirtualBox 5.0(虛擬機器軟體)!
VirtualBox是一款免費、開源的虛擬機器軟體,可以執行在多種作業系統上,真的是一款值得我們使用的虛擬機器軟體! ubuntu14.04軟體中心中的VirtualBox並不是當前最新版5.0,我決定使用最新版,於是根據官方安裝說明,我最後成功安裝、使用上了Virtua
Linux 平臺安裝MongoDB 4.0(最新版)
文件格式 http rip 機制 selinux 新版 要求 錯誤 平臺 概 述 MongoDB 是由C++語言編寫的,是一個基於分布式文件存儲的開源數據庫系統。在高負載的情況下,添加更多的節點,可以保證服務器性能。MongoDB 旨在為WEB應用提供可擴展的高性能數據
Ubuntu下搭建spark2.4環境(單機版)
說明:單機版的Spark的機器上只需要安裝JDK即可,其他諸如Hadoop、Zookeeper(甚至是scala)之類的東西可以一概不安裝。 叢集版搭建:Spark2.2叢集部署和配置 一、安裝JDK1.8 1、下載JDK1.8,地址 2、將下載的檔案儲存在 /home/qq/j
在Ubuntu14.04下安裝 ffmpeg-2.4.13(處理視頻用,將視頻保存為圖片序列)
ibm blog 提取 ext aac sta video images bmp 首先在 http://www.ffmpeg.org/olddownload.html 下載 ffmpeg-2.4.13.tar.bz2 ; 然後安裝 yasm 和 libx264: apt
Ubuntu14.04系統下安裝OpenCV 4.0.0開發環境全過程
最近研究一個專案時需要用到OpenCV,於是自己嘗試在Ubuntu 14.04系統下安裝了這個開發環境。下面就將具體的過程記錄一下,便於後期查閱和同行分享。 〇、開發環境 首先介紹一下我的開發環境: 物理系統:Win 10 64位; 虛擬工具:Virtualbo
Linux、ubuntu14.04下原始碼安裝node.js、express
最近要使用node.js開發,學習後總結一下。 1、node.js下載 所有版本: 2、安裝nodejs 解壓: sudo tar -zxvf node-v6.9.5.tar.gz -
ubuntu14.04下 安裝matlabR2015b遇到的一些問題及其解決方法
cal abr 問題 它的 文件夾 打開 pen atl usr 問題1:錯誤提示關於未取得權限,不能再/crack/bin文件中復制文件到安裝matlab的/usr/bin文件中? 采取解決方法: 再終端裏輸入 sudo nautilus,在彈出文件夾裏即可進行相應操作。
Ubuntu14.04下安裝Composer
14.04 blog har oca version ins curl pos tps 下載Composer: curl -sS https://getcomposer.org/installer | php 安裝Composer: /usr/bin/php comp
Ubuntu14.04下安裝 boost (boost_1.54 最簡單的方法)
urn 分享 ubun 命令 寫入 return test 簡單的 logs 直接執行命令: sudo apt-get install libboost-dev 測試: 創建一個 boost_test.cpp 文件,寫入 #include <boost/lexi
Ubuntu14.04下安裝redis
sudo apt-get update sudo apt-get install redis-server 啟動redis服務 sudo /etc/init.d/redis-server restart sudo service redis-server restart 2.連線redis
ubuntu14.04中安裝opencv2.4.9
https://blog.csdn.net/chcyj/article/details/78424372 http://jaist.dl.sourceforge.net/project/opencvlibrary/opencv-unix/2.4.9/opencv-2.4.9.zip
Ubuntu14.04下安裝glog
下載原始程式碼編譯 1. Clone Source Code glog git clone https://github.com/google/glog 2. Install dependencies and tools sudo apt-get install auto
Ubuntu14.04下安裝opencv及ROS Indigo下配置Kinect V2
Ubuntu14.04下安裝opencv及ROS Indigo下配置Kinect V2 本篇文章是我在配置Kinect V2時的一些記錄,參考了一些前人的經驗部落格,並把遇到的問題記錄了下來。但之前儲存在了word裡面,出現了一些亂碼,這是我盡力修改了之後的結果,但也難免哪裡會出錯,還請