1. 程式人生 > >基於Raspberry Pi Raspbian 的 Hadoop 安裝

基於Raspberry Pi Raspbian 的 Hadoop 安裝

一、安裝Raspbian

準備:

1·Rsapberry Pi

2·8G記憶體卡一張(格式化)

3·網路(有線)

開始安裝:

這裡使用的是官方推薦的NOOBS,將下載的NOOBS解壓後,將NOOBS資料夾中的全部檔案拷貝到已經格式化的記憶體卡中,

然後將記憶體卡插入樹莓派中,上電自動開機,出現系統安裝選擇介面,這裡選擇的是比較成熟的Raspbian作業系統(本地檔案安裝),也就是第二項,選中後,Install

這將耗費20分鐘左右,自動安裝完成後,有更多的個性化操作,這裡沒有進行更多操作,直接選擇【Finish】進入該Raspbian系統中,預設是賬戶是pi,密碼是raspberrypi

想要使用root賬戶的話,可以這樣設定密碼:

[email protected] ~ $ su passwd root

二、安裝Hadoop

1、首先安裝好JDK環境

由於該系統已經有配置好的JDK環境,並且安裝目錄在:

[email protected] / $ cd usr/lib/jvm/jdk-7-oracle-armhf/

並且環境變數已經配置好了(暖暖的,很貼心):


2、好,進入Hadoop安裝:

這裡安裝1.2版本

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz

解壓縮:、

tar -zxvf hadoop-1.2.1.tar.gz

然後進入該目錄,配置hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml四個檔案;:

cd hadoop-1.2.1/conf

首先是:

vim hadoop-env.sh

高亮處配置成JDK的安裝目錄,上述由提到。

然後配置三個xml檔案:

分別是:

(1)core-site.xml

[email protected]:/opt/hadoop-1.2.1/conf# cat core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://raspberrypi:9000</value>
    </property>
</configuration>

(2)hdfs-site.xml:

<configuration>

<property>
    <name>dfs.namenode.name.dir</name>
    <value>file://${hadoop.tmp.dir}/dfs/name</value>
    <description>Determines where on the local filesystem the DFS name node
        should store the name table(fsimage).  If this is a comma-delimited list
        of directories then the name table is replicated in all of the
        directories, for redundancy. </description>
</property>

<property>
    <name>dfs.datanode.data.dir</name>
    <value>file://${hadoop.tmp.dir}/dfs/data</value>
    <description>Determines where on the local filesystem an DFS data node
        should store its blocks.  If this is a comma-delimited
        list of directories, then data will be stored in all named
        directories, typically on different devices.
        Directories that do not exist are ignored.
    </description>
</property>

<property>  
        <name>dfs.replication</name>  
        <value>2</value>  
</property>

<property>    
        <name>dfs.block.size</name>    
        <value>134217728</value>    
</property>
64M:    67108864
32M:    33554432
16M:    16777216
8M:        8388608
4M:        4194304

</configuration>

(3)

mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.jobtracker.address</name>
        <value>raspberrypi:9001</value>
        <description>jobtracker's address</description>
    </property>
</configuration>

配置/etc/profile

JAVA_HOME=/usr/lib/jvm/jdk-7-oracle-armhf/
JRE_HOME=$JAVA_HOME/jre
HADOOP_HOME=/opt/hadoop-1.2.1
CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH

不知道怎麼回事,hadoop的環境變數可能沒有配置好,只能到

/opt/hadoop-1.2.1/bin 目錄下執行:

./hadoop namenode -format

./start-all.sh

把這些服務都啟動起來,要輸入三次密碼

jps檢視下都起來了沒有。

到此,hadoop,單機算是安裝完成了

相關推薦

基於Raspberry Pi RaspbianHadoop 安裝

一、安裝Raspbian 準備: 1·Rsapberry Pi 2·8G記憶體卡一張(格式化) 3·網路(有線) 開始安裝: 這裡使用的是官方推薦的NOOBS,將下載的NOOBS解壓後,將NOOBS資料夾中的全部檔案拷貝到已經格式化的記憶體卡中, 然後將記憶體卡插入樹莓派

基於 Raspberry Pi 構建一個飛機觀察器

步驟 inux 進展 定義 lan 擁有 hit mbo helper 此項目使用帶超低成本軟件無線電 (SDR) 硬件的 Raspberry Pi,來接收數百萬裏之外的機載 S 模式應答器發送的跟蹤信息。Raspberry Pi 配備了靈巧的 3.5 英寸 TFT 顯示屏

如何在Raspberry Pi 3B中安裝Windows 10 IoT Core

obs 目前 公司 img dashboard mst windows mark 微軟 Windows 10 IoT Core簡介 Windows 10 IoT是微軟專門為物聯網生態打造的操作系統,Windows 10 IoT Core則是Windows 10 IoT 操作

人臉識別準備 -- 基於raspberry pi 3b + movidius

visit imread imp dimens cal ges boolean until 3.1 最近準備系統地學習一下深度學習和TensorFlow,就以人臉識別作為目的。 十年前我做過一些圖像處理相關的項目和研究,涉及到圖像檢索。記得當時使用的是SIFT特征提取,該特

樹莓派(Raspberry Pi 3b)安裝Kail Linux 2017.1

kali-2017.01-rpi2.img.xz 3.下載完會發現字尾是 .img.xz (網上教程說需要7zip解壓出img檔案,我試過了會出錯,Windows下可使用Win32 Disk Imager直接寫入不必解壓),直接雙擊開啟,選擇記憶

Raspberry Pi 3安裝配置Raspbian過程

1. 前期準備 硬體 Raspberry Pi 3主機板 5V 1A安卓充電器及資料線 Samsung 64GB UHS-1 Class10 TF儲存卡 TF卡讀卡器 網線 HDMI高清線(可無) 支援HDMI輸入的顯示器(可無) 軟體

centos7中基於hadoop安裝hive(CentOS7+hadoop2.8.0+hive2.1.1)

root drive notepad lds opts 裝配 -- 3.2 window 1下載hive 下載地址:http://hive.apache.org/downloads.html 點擊上圖的Download release now! 如圖:

基於樹莓派(Raspberry Pi)平臺的MQ-2煙霧報警系統以及結合Zabbix監控的實現(一)

Raspberry Pi Zabbix和嵌入式系統的結合 Python3 樹莓派和MQ-2氣體檢測 一、前期準備 達成目標:   利用Rapberry Pi 驅動MQ-2煙霧報警模塊,對信息進行采集和提取,而後Zabbix監控系統來收集和處理信息采集到的信息。

基於樹莓派(Raspberry Pi)平臺的智能家居實現(一)----繼電器模塊,DHT11模塊

Raspberry 繼電器模塊 DHT11溫濕度模塊 智能家居 前言:    ??其實做這個智能家居系統我還是因為學校的畢業設計,距離上篇文章發布已經過去了20多天了,之前想著只是做一個煙霧報警,然後通過Zabbix進行報警,但是通過這20多天的設計,我發現實現報警的功能其

Raspberry Pi安裝Docker,運行Home Assistant

config ups ssi syslog mes 智能 groups inf prepare docker 是個好東西,想著Raspbian 是基於 Debian的系統,那定然是支持 docker的。 而有了docker,再raspberry pi上安裝 Home Ass

樹莓派3代B型 Raspberry Pi Model 3 B 安裝 centos7系統

inf .org ted ssh登錄 並且 form nload word pan 板子類型: Raspberry Pi Model 3 B 搭配 32G的SD卡: 下載支持樹莓派版本的centos7系統 http

Linux中基於hadoop安裝hive(CentOS7+hadoop2.8.0+hive2.1.1)

2安裝          3.3測試        關鍵字:Linux  Java  CentOS  Hadoop  Hive         說明:安裝hive前提是要先安裝hadoop叢集,並且hive只需要再hadoop的namenode節點叢集裡安裝即可(需要再所有n

適用於樹莓派Raspberry Pi的嵌入式QT平臺(一) -- 交叉編譯安裝Qt Embedded 5.5

在樹莓派上設計桌面應用一般情況會依賴於X11環境,如果是Windows平臺,就目前而言,我們也可以選擇Windows 10 IoT環境進行開發。UWP目前也支援在樹莓派2上進行部署。至於常見的Linux X11或者Wayland環境,相比之下比較冗餘,但是QT Emebedded直接利用Framebuffer

樹莓派安裝BlueZ協議棧(Raspberry pi Bluetooth LE)

在之前的專案中,遇到需要將若干個BLE連線上讀取其資料的功能,所以我採取了將樹莓派和usb藍芽結合在一起,使用bluez驅動其藍芽4.0使 之和我的BLE裝置進行連線,所以在此我記錄一下在樹莓派環境下怎樣使用USB藍芽裝置。 前提準備 關於USB藍芽4.0

raspberry pi 2安裝rtl8811/ 8821網絡卡驅動

最近在樹莓派2上折騰視訊,用來做FPV,但是發現2.4G的控會嚴重干擾2.4G WIFI,在開控的時候我的桌上型電腦+外接USB網絡卡都頻頻掉線。考慮了一下,5.8G的頻段雖然相對2.4G穿透能力更低,但是現階段5.8G更乾淨,並且5.8G與2.4G沒有倍頻關係,不容易互相干擾(1.2G的圖傳就會干擾2.4

樹莓派(raspberry pi) 系統在SD卡上安裝Linux

剛剛拿到一隻Simon同學出借的樹莓派(raspberry pi) ,準備一張4GB的SD卡,準備跑一下Linux。在Windows 7上用 工具寫入img到SD卡上,報錯,失敗。好在俺有Linux vmware虛擬機器,在虛擬機器上搞,執行命令 sudo dd bs=1M

樹莓派折騰錄二. QT5.7在樹莓派3上的安裝(Raspberry Pi 3 model B)

2016.06.17 更新 qt5.7釋出,官方支援了pi3(32model)的映象檔案。直接通過線上安裝,選擇對應的映象即可。 下面是qt5在PI2上的安裝方法 jessie版本的Deb

如何在記憶體卡上為Raspberry Pi 3 安裝Ubuntu-mate-16.04系統?

一. 實驗裝置清單 樹莓派 3B 閃迪16G class10 microSD高速記憶體卡(將系統裝在記憶體卡上) 讀卡器 顯示器(方便裝好後進行系統配置) HDMI轉VGA轉換器 二. 軟體

【智慧家居】Raspberry Pi 系統安裝

Raspberry Pi 中國名 樹莓派,科普請移步 樹莓派-百度百科 ,智慧家居這個系列想了很久了,但一直不知道從何落筆,Raspberry Pi 很像 Arduino 但又不是,它出現大大降低進入智慧家居領域的門檻, 囉嗦兩句: 1、樹莓派購買的時候建議買個外殼,安全第

樹莓派raspberry Pi 3B+系統中安裝mysql過程中不提示輸入密碼,安裝完後如何設置密碼

rate current 默認 oca acc inpu .so error enter 樹莓派raspberry Pi 3B+安裝mysql未提示輸入密碼,安裝後修改mysql密碼默認密碼 使用mysql -uroot -p 命令連接mysql時,報錯 pi@rasp