hadoop-2.6.0.tar.gz + spark-1.6.1-bin-hadoop2.6.tgz的叢集搭建(單節點)(CentOS系統)
前言
關於幾個疑問和幾處心得!
a.用NAT,還是橋接,還是only-host模式?
b.用static的ip,還是dhcp的?
答:static
c.別認為快照和克隆不重要,小技巧,比別人靈活用,會很節省時間和大大減少錯誤。
d.重用起來指令碼語言的程式設計,如paython或shell程式設計。
對於用scp -r命令或deploy.conf(配置檔案),deploy.sh(實現檔案複製的shell指令碼檔案),runRemoteCdm.sh(在遠端節點上執行命令的shell指令碼檔案)。
e.重要Vmare Tools增強工具,或者,rz上傳、sz下載。
f.
用到的所需:
1、VMware-workstation-full-11.1.2.61471.1437365244.exe
2、CentOS-6.5-x86_64-bin-DVD1.iso
3、jdk-8u60-linux-x64.tar.gz
4、hadoop-2.6.0.tar.gz
5、scala-2.10.4.tgz
6、spark-1.6.1-bin-hadoop2.6.tgz
機器規劃:
192.168.80.100---------------- SparkSignleNode
目錄規劃:
1、下載目錄
/usr/loca/ ---------------- 存放所有安裝軟體
2、新建目錄
3、安裝目錄
jdk-8u60-linux-x64.tar.gz -------------------------------------------------- /usr/local/jdk/jdk1.8.0_60
hadoop-2.6.0.tar.gz ---------------------------------------------------------- /usr/local/hadoop/hadoop-2.6.0
scala-2.10.4.tgz --------------------------------------------------------------- /usr/local/scala/scala-2.10.4
spark-1.6.1-bin-hadoop2.6.tgz ---------------------------------------------- /usr/local/spark/spark-1.6.1-bin-hadoop2.6
4、快照步驟
快照一:
剛安裝完畢,且能連上網
快照二:
root使用者的開啟、vim編輯器的安裝、ssh的安裝、靜態IP的設定、/etc/hostname和/etc/hosts和永久關閉防火牆
SSH安裝完之後的免密碼配置,放在後面
靜態IP是192.168.80.100
/etc/hostname是SparkSingleNode
/etc/hosts是
192.168.80.100 SparkSingleNode
快照三:
安裝jdk、安裝scala、配置SSH免密碼登入、安裝python及ipython (這裡,選擇跳過也可以,ubuntu系統自帶安裝了python)
新建spark使用者,(即用spark使用者,去安裝jdk、scala、配置SSH免密碼、安裝hadoop、安裝spark...)
快照四:
安裝hadoop(沒格式化)、安裝lrzsz、將自己寫好的替換掉預設的配置檔案、建立好目錄
快照五:
安裝hadoop(格式化)成功、程序啟動正常
快照六:
spark的安裝和配置工作完成
快照七:
啟動hadoop、spark叢集成功、檢視50070、8088、8080、4040頁面
第一步:
安裝VMware-workstation虛擬機器,我這裡是VMware-workstation11版本。
詳細見 ->
第二步:
安裝ubuntukylin-14.04-desktop系統 (最好安裝英文系統)
詳細見 ->
第三步:VMware Tools增強工具安裝
詳細見 ->
第四步:準備小修改(學會用快照和克隆,根據自身要求情況,合理位置快照)
詳細見 ->
1、root使用者的開啟(Ubuntu系統,安裝之後預設是沒有root使用者)
2、vim編輯器的安裝
3、ssh的安裝(SSH安裝完之後的免密碼配置,放在後面)
4、靜態IP的設定
5、/etc/hostname和/etc/hosts
[email protected]sparksinglenode:~# cat /etc/hostname
sparksinglenode
[email protected]sparksinglenode:~# cat /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.80.100 sparksinglenode
# The following lines are desirable for IPv6 capable hosts
::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
6、永久關閉防火牆
一般,在搭建hadoop/spark叢集時,最好是永久關閉防火牆,因為,防火牆會保護其程序間通訊。
[email protected]:~# sudo ufw status
Status: inactive
這個知識點,模糊了好久。!!!
生產中,習慣如下:
useradd,預設會將自身新建使用者,新增到同名的使用者組中。如,useradd zhouls,執行此命令後,預設就新增到同名的zhouls使用者組中。
但是,在生產中,一般都不這麼幹。通常是,useradd -m -g 。否則,出現到時,使用者建立出來了,但出現家目錄沒有哦。慎重!!!(重要的話,說三次)
####################CentOS系統裡##########################
CentOS系統裡,root使用者下執行
第一步:groupadd 新建使用者組
groupadd hadoop 這是建立hadoop使用者組
第二步:useradd -m -g 已建立使用者組 新建使用者
useradd -m -g hadoop hadoop 這是新建hadoop使用者和家目錄也建立,並增加到hadoop組中
第三步:passwd 已建立使用者
passwd hadoop hadoop使用者密碼
Changing password for user hadoop
New password :
Retype new password:
###################################
安裝前的思路梳理:
***********************************************************************************
* *
* 程式語言 -> hadoop 叢集 -> spark 叢集 *
* 1、安裝jdk *
* 2、安裝scala *
* 3、配置SSH免密碼登入(SparkSingleNode自身)
* 4、安裝python及ipython (這裡,選擇跳過也可以,ubuntu系統自帶安裝了python)
* 5、安裝hadoop *
* 6、安裝spark *
* 7、啟動叢集 *
* 8、檢視頁面 *
* 9、成功(記得快照) *
*******************************************************
一、安裝jdk
記得,這裡先解除安裝CentOS6.5自帶的openjdk,具體怎麼做,請見上述的部落格。我已經寫了很清楚。
jdk-8u60-linux-x64.tar.gz -------------------------------------------------- /usr/local/jdk/jdk1.8.0_60
1、jdk-8u60-linux-x64.tar.gz的下載
2、jdk-8u60-linux-x64.tar.gz的上傳
[[email protected] local]# mkdir jdk
[[email protected] local]# chown -R spark:spark jdk
[[email protected] jdk]# yum -y install lrzsz
3、解壓jdk檔案
[[email protected] jdk]$ tar -zxvf jdk-8u60-linux-x64.tar.gz
4、刪除解壓包,留下解壓完成的檔案目錄,並修改許可權(這是最重要的!)
[[email protected] jdk]$ rm jdk-8u60-linux-x64.tar.gz
5、修改環境變數
vim ~./bash_profile 或 vim /etc/profile
配置在這個檔案~/.bash_profile,或者也可以,配置在那個全域性的檔案裡,也可以喲。/etc/profile。
這裡,我vim /etc/profile
[[email protected] jdk]$ su root
Password:
[[email protected] jdk]# vim /etc/profile
#java export JAVA_HOME=/usr/local/jdk/jdk1.8.0_60 export JRE_HOME=$JAVA_HOME/jre export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib export PATH=$PATH:$JAVA_HOME/bin
6、生效jdk環境變數
[[email protected] jdk]# source /etc/profile [[email protected] jdk]# su spark [[email protected] jdk]$ java -version
二、安裝scala
scala-2.10.5tgz --------------------------------------------------------------- /usr/local/scala/scala-2.10.5
1、scala的下載
或者
2、現在,新建/usr/loca/下的sacla目錄
3、scala-2.10.5.tgz 的上傳
[[email protected] scala]$ rz
4、解壓scala檔案
[[email protected] scala]$ tar -zxvf scala-2.10.5.tgz
5、刪除解壓包,留下解壓完成的檔案目錄,並修改許可權(這是最重要的!!!)
[[email protected] scala]$ rm scala-2.10.5.tgz
6、修改環境變數
vim ~./bash_profile 或 vim /etc/profile
配置在這個檔案~/.bash_profile,或者也可以,配置在那個全域性的檔案裡,也可以喲。/etc/profile。
這裡,我vim /etc/profile
[[email protected] scala]$ su root
Password:
[[email protected] scala]# vim /etc/profile
#scala export SCALA_HOME=/usr/local/scala/scala-2.10.5 export PATH=$PATH:$SCALA_HOME/bin
7、生效scala環境變數
[[email protected] scala]# source /etc/profile [[email protected] scala]# su spark [[email protected] scala]$ scala -version
三、配置免密碼登入
1、配置SSH實現無密碼驗證配置,首先切換到剛建立的spark使用者下。
因為,我後續,是先搭建hadoop叢集,在其基礎上,再搭建spark叢集,目的,是在spark使用者下操作進行的。
所以,在這裡,要梳理下的是,root和zhouls,都是管理員許可權。在生產環境裡,一般是不會動用這兩個管理員使用者的。
由於spark需要無密碼登入作為worker的節點,而由於部署單節點的時候,當前節點既是master又是worker,所以此時需要生成無密碼登入的ssh。方法如下:
[[email protected] ~]$ pwd /home/spark
2 、建立.ssh目錄,生成金鑰
mkdir .ssh
ssh-keygen -t rsa 注意,ssh與keygen之間是沒有空格的
[[email protected] ~]$ mkdir .ssh [[email protected] ~]$ ssh-keygen -t rsa Generating public/private rsa key pair. Enter file in which to save the key (/home/spark/.ssh/id_rsa): (回車) Enter passphrase (empty for no passphrase): (回車) Enter same passphrase again: (回車) Your identification has been saved in /home/spark/.ssh/id_rsa. Your public key has been saved in /home/spark/.ssh/id_rsa.pub. The key fingerprint is: 38:12:c4:d8:f1:fc:74:96:2d:a1:0e:c2:83:b7:f1:54 [email protected] The key's randomart image is: +--[ RSA 2048]----+ | +o. E . | | .+oo . . + | | . B = o = . | | . O * o . | | o + S | | . . | | | | | | | +-----------------+ [[email protected] ~]$
3 、切換到.ssh目錄下,進行檢視公鑰和私鑰
cd .ssh
ls
[[email protected] ~]$ cd .ssh [[email protected] .ssh]$ ls id_rsa id_rsa.pub [[email protected] .ssh]$
4、將公鑰複製到日誌檔案裡。檢視是否複製成功
cp id_rsa.pub authorized_keys
ls
[[email protected] .ssh]$ cp id_rsa.pub authorized_keys
5、檢視日記檔案具體內容
[[email protected] .ssh]$ cat authorized_keys ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEAtCbvAZr07dAiUG66PcyXFBZX+2wfyi9lv0Dv8X2EfVbXakDaRRGHGBQ/k3KTXMtmziijcuTtDJJoSuC7tZVp00l+jNVB5UPIBsAPTCidUXECLUUVNDFNmzzFWumAtiJd7yeQMCEZyUX7TQ00IaDG5hqzgneZRaek+sARPJnvvn+USKH1pJI3iPstbDhWVKqWg2UBmEkoAtZUmP4ZsiExwysRaFCyETVqPZ3qxMCe/yhhxaWtnl71lIHQJsYy15cUdxnaBWM/XJEEINRFplVAgR9wIkIBexYBGZpu8uLOT7oQiCgQ0CixgKAwEN7BaaTDMBue0ebwWsaByyzb964gyQ== [email protected]
6、退回到/home/spark/,來賦予許可權
cd ..
chmod 700 .ssh 將.ssh資料夾的許可權賦予700
chmod 600 .ssh/* 將.ssh資料夾裡面的檔案(id_rsa、id_rsa.pub、authorized_keys)的許可權賦予600
[[email protected] ~]$ chmod 700 .ssh [[email protected] ~]$ chmod 600 .ssh/*
7、測試ssh無密碼訪問
[[email protected] ~]$ ssh sparksinglenode The authenticity of host 'sparksinglenode (192.168.80.100)' can't be established. RSA key fingerprint is c9:66:77:a8:d3:a3:6a:03:29:94:0b:6b:2d:27:06:12. Are you sure you want to continue connecting (yes/no)? yes Warning: Permanently added 'sparksinglenode,192.168.80.100' (RSA) to the list of known hosts. Last login: Thu Mar 23 16:57:15 2017 from 192.168.80.1 [[email protected] ~]$ exit; logout Connection to sparksinglenode closed. [[email protected] ~]$ ssh sparksinglenode Last login: Fri Mar 24 01:37:13 2017 from sparksinglenode [[email protected] ~]$ exit; logout Connection to sparksinglenode closed. [[email protected] ~]$
四、安裝hadoop
hadoop-2.6.0.tar.gz ---------------------------------------------------------- /usr/local/hadoop/hadoop-2.6.0
1、hadoop的下載
2、hadoop-2.6.0.tar.gz的上傳
total 48 drwxr-xr-x. 2 root root 4096 Sep 23 2011 bin drwxr-xr-x. 2 root root 4096 Sep 23 2011 etc drwxr-xr-x. 2 root root 4096 Sep 23 2011 games drwxr-xr-x. 2 root root 4096 Sep 23 2011 include drwxr-xr-x. 3 spark spark 4096 Mar 23 23:33 jdk drwxr-xr-x. 2 root root 4096 Sep 23 2011 lib drwxr-xr-x. 2 root root 4096 Sep 23 2011 lib64 drwxr-xr-x. 2 root root 4096 Sep 23 2011 libexec drwxr-xr-x. 2 root root 4096 Sep 23 2011 sbin drwxr-xr-x. 3 spark spark 4096 Mar 24 01:26 scala drwxr-xr-x. 5 root root 4096 Mar 22 17:40 share drwxr-xr-x. 2 root root 4096 Sep 23 2011 src [[email protected] local]$ su root Password: [[email protected] local]# mkdir hadoop [[email protected] local]# chown -R spark:spark hadoop/ [[email protected] local]# ll total 52 drwxr-xr-x. 2 root root 4096 Sep 23 2011 bin drwxr-xr-x. 2 root root 4096 Sep 23 2011 etc drwxr-xr-x. 2 root root 4096 Sep 23 2011 games drwxr-xr-x. 2 spark spark 4096 Mar 24 01:38 hadoop drwxr-xr-x. 2 root root 4096 Sep 23 2011 include drwxr-xr-x. 3 spark spark 4096 Mar 23 23:33 jdk drwxr-xr-x. 2 root root 4096 Sep 23 2011 lib drwxr-xr-x. 2 root root 4096 Sep 23 2011 lib64 drwxr-xr-x. 2 root root 4096 Sep 23 2011 libexec drwxr-xr-x. 2 root root 4096 Sep 23 2011 sbin drwxr-xr-x. 3 spark spark 4096 Mar 24 01:26 scala drwxr-xr-x. 5 root root 4096 Mar 22 17:40 share drwxr-xr-x. 2 root root 4096 Sep 23 2011 src [[email protected] local]#
3、解壓hadoop檔案
[[email protected] hadoop]$ tar -zxvf hadoop-2.6.0.tar.gz
4、刪除解壓包,留下解壓完成的檔案目錄
並修改所屬的使用者組和使用者(這是最重要的!)
5、修改環境變數
vim ~./bash_profile 或 vim /etc/profile
配置在這個檔案~/.bash_profile,或者也可以,配置在那個全域性的檔案裡,也可以喲。/etc/profile。
這裡,我vim /etc/profile
[[email protected] hadoop]# vim /etc/profile
#hadoop export HADOOP_HOME=/usr/local/hadoop/hadoop-2.6.0 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
6、生效hadoop環境變數
[[email protected] hadoop]# source /etc/profile [[email protected] hadoop]# su spark [[email protected] hadoop]$ hadoop version Hadoop 2.6.0 Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r e3496499ecb8d220fba99dc5ed4c99c8f9e33bb1 Compiled by jenkins on 2014-11-13T21:10Z Compiled with protoc 2.5.0 From source with checksum 18e43357c8f927c0695f1e9522859d6a This command was run using /usr/local/hadoop/hadoop-2.6.0/share/hadoop/common/hadoop-common-2.6.0.jar [[email protected] hadoop]$
7、配置hadoop
[[email protected]nglenode hadoop]$ cd hadoop-2.6.0/etc/hadoop/
[[email protected] hadoop]$ vim core-site.xml
<configuration> <property> <name>fs.default.name</name> <value>hdfs://sparksinglenode:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop/hadoop-2.6.0/tmp</value> </property> <property> <name>hadoop.proxyuser.hadoop.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.hadoop.groups</name> <value>*</value> </property> </configuration>
[[email protected] hadoop]$ vim hdfs-site.xml
<configuration>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop/hadoop-2.6.0/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop/hadoop-2.6.0/dfs/data</value>
</property>
</configuration>
[[email protected] hadoop]$ cp mapred-site.xml.template mapred-site.xml [[email protected] hadoop]$ vim mapred-site.xml
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
[[email protected] hadoop]$ vim yarn-site.xml
<configuration> <!-- Site specific YARN configuration properties --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>
[[email protected] hadoop]$ vim hadoop-env.sh
export JAVA_HOME=/usr/local/jdk/jdk1.8.0_60
[[email protected] hadoop]$ cat slaves
sparksinglenode
8、新建配置檔案裡牽扯到目錄
[[email protected] hadoop-2.6.0]$ pwd /usr/local/hadoop/hadoop-2.6.0 [[email protected] hadoop-2.6.0]$ mkdir -p /usr/local/hadoop/hadoop-2.6.0/dfs/name [[email protected] hadoop-2.6.0]$ mkdir -p /usr/local/hadoop/hadoop-2.6.0/dfs/data [[email protected] hadoop-2.6.0]$ mkdir -p /usr/local/hadoop/hadoop-2.6.0/tmp
9、hadoop的格式化
在單節點(sparksinglenode)的hadoop的安裝目錄下,進行如下命令操作
./bin/hadoop namenode -format
[[email protected] hadoop-2.6.0]$ pwd /usr/local/hadoop/hadoop-2.6.0 [[email protected] hadoop-2.6.0]$ ./bin/hadoop namenode -format
10、啟動hadoop
sbin/start-all.sh
[[email protected] hadoop-2.6.0]$ sbin/start-all.sh
11、開啟hadoop的web ui介面,來驗證下。
http://sparksinglenode:50070/ 。如果出現50070埠無法訪問,則如下
五、安裝spark
spark-1.6.1-bin-hadoop2.6.tgz ---------------------------------------------- /usr/loca/spark/spark-1.6.1-bin-hadoop2.6
1、spark的下載
這個去官網。很簡單!
http://spark.apache.org/downloads.html
http://d3kbcqa49mib13.cloudfront.net/spark-1.6.1-bin-hadoop2.6.tgz
2、spark-1.6.1-bin-hadoop2.6.tgz的上傳
[[email protected] local]# mkdir spark
[[email protected] local]# chown -R spark:spark spark/
3、解壓spark檔案
[[email protected] spark]$ tar -zxvf spark-1.6.1-bin-hadoop2.6.tgz
4、刪除解壓包,留下解壓完成的檔案目錄
並修改所屬的使用者組和使用者(這是最重要的!)
5、修改環境變數
vim ~./bash_profile 或 vim /etc/profile
配置在這個檔案~/.bash_profile,或者也可以,配置在那個全域性的檔案裡,也可以喲。/etc/profile。
這裡,我vim /etc/profile
[[email protected] spark]$ su root
Password:
[[email protected] spark]# vim /etc/profile
#spark export SPARK_HOME=/usr/local/spark/spark-1.6.1-bin-hadoop2.6 export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
6、生效spark環境變數
[[email protected] spark]# source /etc/profile
7、spark配置檔案
其實,只要把spark的安裝包解壓好,就已經安裝好了最簡易的spark。因為,它自身帶有叢集環境。
[[email protected] conf]$ cp slaves.template slaves
[[email protected] conf]$ vim slaves
進入之後,將localhost改為sparksinglenode
[[email protected] conf]$ cp spark-env.sh.template spark-env.sh [[email protected] conf]$ vim spark-env.sh
export JAVA_HOME=/usr/local/jdk/jdk1.8.0_60 export SCALA_HOME=/usr/local/scala/scala-2.10.5 export HADOOP_HOME=/usr/local/hadoop/hadoop-2.6.0 export HADOOP_CONF_DIR=/usr/local/hadoop/hadoop-2.6.0/etc/hadoop export SPARK_MASTER_IP=sparksinglenode export SPARK_WORKER_MERMORY=2G
六、啟動叢集
1、在haoop的安裝目錄下,啟動hadoop叢集。
/usr/local/hadoop/hadoop-2.6.0下,執行./sbin/start-all.sh
或,在任何路徑下,$HADOOP_HOME/sbin/start-all.sh
2、在spark的安裝目錄下,啟動spark叢集。
/usr/local/spark/spark-1.6.1-bin-hadoop2.6下,執行./sbin/start-all.sh
或, 在任何路徑下,執行 $SPARK_HOME/sbin/start-all.sh
八、檢視頁面
進入hadoop的hdfs的web頁面。訪問http://sparksinglenode:50070 (安裝之後,立即可以看到)
進入hadoop的yarn的web頁面。訪問http://sparksinglenode:8088 (安裝之後,立即可以看到)
進入spark的web頁面。訪問 http://sparksinglenode:8080 (安裝之後,立即可以看到)
進入spark的shell的web頁面。訪問http//:sparksinglenode:4040 (需開啟spark shell)
成功!
相關推薦
hadoop-2.6.0.tar.gz + spark-1.5.2-bin-hadoop2.6.tgz的叢集搭建(單節點)(Ubuntu系統)
前言 關於幾個疑問和幾處心得! a.用NAT,還是橋接,還是only-host模式? b.用static的ip,還是dhcp的? 答:static c.別認為快照和克隆不重要,小技巧,比別人靈活用,會很節省時間和大大減少錯誤。 d.重用起來指令碼語言的程式設計,如paython
hadoop-2.6.0.tar.gz + spark-1.6.1-bin-hadoop2.6.tgz的叢集搭建(單節點)(CentOS系統)
前言 關於幾個疑問和幾處心得! a.用NAT,還是橋接,還是only-host模式? b.用static的ip,還是dhcp的? 答:static c.別認為快照和克隆不重要,小技巧,比別人靈活用,會很節省時間和大大減少錯誤。 d.重用起來指令碼語言
CentOS7.0安裝配置hadoop2.7.0 資源準備 資源下載: hadoop-2.7.0.tar.gz 密碼:727y jdk-8u45-linux-x64.tar.gz 密碼:d8bm
CentOS7.0安裝配置hadoop2.7.0 資源準備 資源下載: 注意事項: 如果自己下載資源的話,注意hadoop,jdk,centos都應該是64位或者32位的,以免出現無法預料的錯誤,上面的資源都是64位的我是在mac下配置的,virtual box是ios x系統的,如果是其它系統的另
Spark on YARN模式的安裝(spark-1.6.1-bin-hadoop2.6.tgz + hadoop-2.6.0.tar.gz)(master、slave1和slave2)(博主推薦)
說白了 Spark on YARN模式的安裝,它是非常的簡單,只需要下載編譯好Spark安裝包,在一臺帶有Hadoop YARN客戶端的的機器上執行即可。 Spark on YARN分為兩種: YARN cluster(YARN standalone,0.9版本以前)和 YA
Spark專案之環境搭建(單機)四 sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 安裝
上傳解壓 sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz,重新命名 tar -zxf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop 進入sqoop
hadoop-2.6.0.tar.gz的叢集搭建(3節點)(不含zookeeper叢集安裝)
前言 關於幾個疑問和幾處心得! a.用NAT,還是橋接,還是only-host模式? b.用static的ip,還是dhcp的? 答:static c.別認為快照和克隆不重要,小技巧,比別人靈活用,會很節省時間和大大減少錯誤。 d.重用起來指令碼語言的程式設計,如paython或s
用pycharm + python寫spark(spark-2.0.1-bin-hadoop2.6)
一、將pyspark放入: 該目錄位置(我的是mac): /Library/Python/2.7/site-packages 二、env配置: 步驟1: 步驟2: 步驟3: SPARK_CLASSPATH /Users/Chave
搭建Ambari 2.6.0 tar 解壓縮報錯
pos span 使用 解決方案 centos7 .gz res val unzip 背景:我們使用的方式不是wget 去下載ambari的源碼包,而是在windows 的 firefox 下直接下載,將文件存儲到本地。 執行 tar -zxvf HDP-2.6.3.0-c
Ruby 2.6.0 正式釋出,效能提高 1.7 倍
Ruby 2.6.0 已正式釋出,引入了許多新功能和效能改進,其中最值得關注的包括: 一個新的 JIT 編譯器 RubyVM::AbstractSyntaxTree 模組 具體來看: JIT(試驗階段) Ruby 2.6 引入了 JIT (Just-in-time
Hive-0.13.1本地獨立模式安裝 元資料儲存到MariaDB-10.1.0 Hadoop-2.4.0
tar -zxvf apache-hive-0.13.1-bin.tar.gz 解壓後,編輯java.sh(java.sh為自己建立的指令碼): vim /etc/profile.d/java.sh export HIVE_HOME=/opt/modules/hive/apache-hive-0.13.1
Hadoop 2.3.0-cdh5.0.2升級Hadoop 2.5.0-cdh5.3.1
一、準備升級包 for line in `cat /home/hadoop/platform/hadoop.list|awk '{print $1}'`; do echo $line;ssh $line "/bin/mkdir /home/hadoop/platform"
利用hadoop-2.5.0-cdh5.3.6版本,搭建完全分散式HA詳細記錄(怕忘)
我就按照自己的思路寫,可能步驟不一定正確1、在搭建完全 分散式叢集時,首先要保證我們的三臺機子的時間同步,所以我們需要同步一臺時間伺服器,我的三臺虛擬機器分別為如下hostname-->make.hadoop.com 第一臺-->make.hadoo
hadoop-2.3.0-cdh5.1.0完全分散式搭建(基於centos)
注:本例使用root使用者搭建 一、環境 作業系統:CentOS 6.564位作業系統 注:Hadoop2.0以上採用的是jdk環境是1.7,Linux自帶的jdk解除安裝掉,重新安裝
hadoop-2.10.0安裝hive-2.3.6
公司建立數倉,hive是必不可少的,hive是建立在hadoop基礎上的資料庫,前面已經搭建起了hadoop高可用,要學習hive,先從搭建開始,下面梳理一下hive搭建過程 1.下載hive安裝包 ,下載地址:https://hive.apache.org/downloads.html 找到自己
jsoncpp-src-0.5.0.tar.gz 源碼錯誤!!!!
post 定位 tar.gz 浪費 試用 cpp 解析 能夠 error 近期在做畢設,使用到了JsonCpp0.5.0版本號的源碼!依照網上的安裝配置教程,搭建好環境後就能夠使用了! 在這裏就不浪費空間去將怎樣搭建開發環境了!請大家去google一下就好了!
Linux上安裝Hadoop集群(CentOS7+hadoop-2.8.0)
hup dem current 格式 default dmv framework server1 上進 1下載hadoop 2安裝3個虛擬機並實現ssh免密碼登錄 2.1安裝3個機器 2.2檢查機器名稱
phpmyadmin+mysql-5.6.16.tar.gz使用
phpmyadmin+mysql-5.6Phpmyadmin的使用首先需要lamp或者是lnmp環境: 一.首先搭建phpmyadmin運行環境 現在以lamp環境為例:安裝部署lamp環境 1.安裝Apache下載安裝 yum install zlib-devel -y wget http://mirror
Linux上安裝Hadoop集群(CentOS7+hadoop-2.8.0)--------hadoop環境的搭建
html -a 總結 全分布式 .html oop details clas HR Linux上安裝Hadoop集群(CentOS7+hadoop-2.8.0)------https://blog.csdn.net/pucao_cug/article/details/716
以yarn client和分散式叢集方式執行spark-2.3.2-bin-hadoop2.6
一以分散式叢集執行 修改配置檔案/hadoop_opt/spark-2.3.2-bin-hadoop2.6/conf/spark-env.sh export HADOOP_CONF_DIR=/hadoop_opt/hadoop-2.6.1/etc/hadoop expo
在myeclipse上連線hadoop-2.8.0 執行mapreduce程式
首先 hadoop叢集是要先搭建的沒的說。 可以先在hadoop上執行自帶的mapreduce jar包,跑一下,不成功說明配置檔案沒有配置好,這裡就不說配置哪些了,網上很多。 1.在windows下下載hadoop-2.8.0.tar.gz 並且解壓 2.下載 &n