java轉大資料的學習路線
【不要錯過文末彩蛋】
申明:
本文旨在為普通程式設計師(Java程式設計師最佳)提供一個入門級別的大資料技術學習路徑,不適用於大資料工程師的進階學習,也不適用於零程式設計基礎的同學。
前言:
- 一、背景介紹
- 二、大資料介紹
正文:
- 一、大資料相關的工作介紹
- 二、大資料工程師的技能要求
- 三、大資料學習規劃
- 四、持續學習資源推薦(書籍,部落格,網站)
- 五、專案案例分析(批處理+實時處理)
前言
一、背景介紹
本人目前是一名大資料工程師,專案資料50T,日均資料增長20G左右,個人是從Java後端開發,經過3個月的業餘自學成功轉型大資料工程師。
二、大資料介紹
大資料本質也是資料,但是又有了新的特徵,包括資料來源廣
針對以上主要的4個特徵我們需要考慮以下問題:
-
資料來源廣,該如何採集彙總?,對應出現了Sqoop,Cammel,Datax等工具。
-
資料採集之後,該如何儲存?,對應出現了GFS,HDFS,TFS等分散式檔案儲存系統。
-
由於資料增長速度快,資料儲存就必須可以水平擴充套件。
-
資料儲存之後,該如何通過運算快速轉化成一致的格式,該如何快速運算出自己想要的結果?
對應的MapReduce這樣的分散式運算框架解決了這個問題;但是寫MapReduce需要Java程式碼量很大,所以出現了Hive,Pig等將SQL轉化成MapReduce的解析引擎;
普通的MapReduce處理資料只能一批一批地處理,時間延遲太長,為了實現每輸入一條資料就能得到結果,於是出現了Storm/JStorm這樣的低時延的流式計算框架;
但是如果同時需要批處理和流處理,按照如上就得搭兩個叢集,Hadoop叢集(包括HDFS+MapReduce+Yarn)和Storm叢集,不易於管理,所以出現了Spark這樣的一站式的計算框架,既可以進行批處理,又可以進行流處理(實質上是微批處理)。
-
而後Lambda架構,Kappa架構的出現,又提供了一種業務處理的通用架構。
-
為了提高工作效率,加快運速度,出現了一些輔助工具:
- Ozzie,azkaban:定時任務排程的工具。
- Hue,Zepplin:圖形化任務執行管理,結果檢視工具。
- Scala語言:編寫Spark程式的最佳語言,當然也可以選擇用Python。
- Python語言:編寫一些指令碼時會用到。
- Allluxio,Kylin等:通過對儲存的資料進行預處理,加快運算速度的工具。
以上大致就把整個大資料生態裡面用到的工具所解決的問題列舉了一遍,知道了他們為什麼而出現或者說出現是為了解決什麼問題,進行學習的時候就有的放矢了。
正文
一、大資料相關工作介紹
大資料方向的工作目前主要分為三個主要方向:
- 大資料工程師
- 資料分析師
- 大資料科學家
- 其他(資料探勘等)
二、大資料工程師的技能要求
附上大資料工程師技能圖:
必須掌握的技能11條
- Java高階(虛擬機器、併發)
- Linux 基本操作
- Hadoop(HDFS+MapReduce+Yarn )
- HBase(JavaAPI操作+Phoenix )
- Hive(Hql基本操作和原理理解)
- Kafka
- Storm/JStorm
- Scala
- Python
- Spark (Core+sparksql+Spark streaming )
- 輔助小工具(Sqoop/Flume/Oozie/Hue等)
高階技能6條
- 機器學習演算法以及mahout庫加MLlib
- R語言
- Lambda 架構
- Kappa架構
- Kylin
- Alluxio
三、學習路徑
假設每天可以抽出3個小時的有效學習時間,加上週末每天保證10個小時的有效學習時間;
3個月會有(21*3+4*2*10)*3=423小時的學習時間。
第一階段(基礎階段)
1)Linux學習(跟鳥哥學就ok了)—–20小時
- Linux作業系統介紹與安裝。
- Linux常用命令。
- Linux常用軟體安裝。
- Linux網路。
- 防火牆。
- Shell程式設計等。
2)Java 高階學習(《深入理解Java虛擬機器》、《Java高併發實戰》)—30小時
- 掌握多執行緒。
- 掌握併發包下的佇列。
- 瞭解JMS。
- 掌握JVM技術。
- 掌握反射和動態代理。
- Zookeeper分散式協調服務介紹。
- Zookeeper叢集的安裝部署。
- Zookeeper資料結構、命令。
- Zookeeper的原理以及選舉機制。
第二階段(攻堅階段)
4)Hadoop (《Hadoop 權威指南》)—80小時
-
HDFS
- HDFS的概念和特性。
- HDFS的shell操作。
- HDFS的工作機制。
- HDFS的Java應用開發。
-
MapReduce
- 執行WordCount示例程式。
- 瞭解MapReduce內部的執行機制。
- MapReduce程式執行流程解析。
- MapTask併發數的決定機制。
- MapReduce中的combiner元件應用。
- MapReduce中的序列化框架及應用。
- MapReduce中的排序。
- MapReduce中的自定義分割槽實現。
- MapReduce的shuffle機制。
- MapReduce利用資料壓縮進行優化。
- MapReduce程式與YARN之間的關係。
- MapReduce引數優化。
-
MapReduce的Java應用開發
5)Hive(《Hive開發指南》)–20小時
-
Hive 基本概念
- Hive 應用場景。
- Hive 與hadoop的關係。
- Hive 與傳統資料庫對比。
- Hive 的資料儲存機制。
-
Hive 基本操作
- Hive 中的DDL操作。
- 在Hive 中如何實現高效的JOIN查詢。
- Hive 的內建函式應用。
- Hive shell的高階使用方式。
- Hive 常用引數配置。
- Hive 自定義函式和Transform的使用技巧。
- Hive UDF/UDAF開發例項。
-
Hive 執行過程分析及優化策略
6)HBase(《HBase權威指南》)—20小時
- hbase簡介。
- habse安裝。
- hbase資料模型。
- hbase命令。
- hbase開發。
- hbase原理。
7)Scala(《快學Scala》)–20小時
- Scala概述。
- Scala編譯器安裝。
- Scala基礎。
- 陣列、對映、元組、集合。
- 類、物件、繼承、特質。
- 模式匹配和樣例類。
- 瞭解Scala Actor併發程式設計。
- 理解Akka。
- 理解Scala高階函式。
- 理解Scala隱式轉換。
8)Spark (《Spark 權威指南》)—60小時
-
Spark core
- Spark概述。
- Spark叢集安裝。
- 執行第一個Spark案例程式(求PI)。
-
RDD
- RDD概述。
- 建立RDD。
- RDD程式設計API(Transformation 和 Action Operations)。
- RDD的依賴關係
- RDD的快取
- DAG(有向無環圖)
-
Spark SQL and DataFrame/DataSet
- Spark SQL概述。
- DataFrames。
- DataFrame常用操作。
- 編寫Spark SQL查詢程式。
-
Spark Streaming
- park Streaming概述。
- 理解DStream。
- DStream相關操作(Transformations 和 Output Operations)。
-
Structured Streaming
-
其他(MLlib and GraphX )
這個部分一般工作中如果不是資料探勘,機器學習一般用不到,可以等到需要用到的時候再深入學習。
9)Python (推薦廖雪峰的部落格—30小時
10)自己用虛擬機器搭建一個叢集,把所有工具都裝上,自己開發一個小demo —30小時
可以自己用VMware搭建4臺虛擬機器,然後安裝以上軟體,搭建一個小叢集(本人親測,I7,64位,16G記憶體,完全可以執行起來,以下附上我學習時用虛擬機器搭建叢集的操作文件)
叢集搭建文件1.0版本
1. 叢集規劃
所有需要用到的軟體:
2. 前期準備
2.0 系統安裝
2.1 主機名配置
2.1.0 vi /etc/sysconfig/network
NETWORKING=yes
2.1.1 vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=ys02
2.1.2 vi /etc/sysconfig/network
NETWORKING=yes
2.1.3 vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=ys04
2.2 host檔案修改
2.2.0 vi /etc/hosts
10.1.1.149 ys01
10.1.1.148 ys02
10.1.1.146 ys03
10.1.1.145 ys04
2.3 關閉防火牆(centos 7預設使用的是firewall,centos 6 預設是iptables)
2.3.0 systemctl stop firewalld.service (停止firewall)
2.3.1 systemctl disable firewalld.service (禁止firewall開機啟動)
2.3.2 firewall-cmd --state (檢視預設防火牆狀態(關閉後顯示notrunning,開啟後顯示running)
2.4 免密登入(ys01 ->ys02,03,04)
ssh-keygen -t rsa
ssh-copy-id ys02(隨後輸入密碼)
ssh-copy-id ys03(隨後輸入密碼)
ssh-copy-id ys04(隨後輸入密碼)
ssh ys02(測試是否成功)
ssh ys03(測試是否成功)
ssh ys04(測試是否成功)
2.5 系統時區與時間同步
tzselect(生成日期檔案)
cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime(將日期檔案copy到本地時間中)
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
3. 軟體安裝
3.0 安裝目錄規劃(軟體為所有使用者公用)
3.0.0所有軟體的安裝放到/usr/local/ys/soft目錄下(mkdir /usr/local/ys/soft)
3.0.1所有軟體安裝到/usr/local/ys/app目錄下(mkdir /usr/local/ys/app)
3.1 JDK(jdk1.7)安裝
3.1.1 alt+p 後出現sftp視窗,cd /usr/local/ys/soft,使用sftp上傳tar包到虛機ys01的/usr/local/ys/soft目錄下
3.1.2解壓jdk
cd /usr/local/ys/soft
#解壓
tar -zxvf jdk-7u80-linux-x64.tar.gz -C /usr/local/ys/app
3.1.3將java新增到環境變數中
vim /etc/profile
#在檔案最後新增
export JAVA_HOME= /usr/local/ys/app/ jdk-7u80
export PATH=$PATH:$JAVA_HOME/bin
3.1.4 重新整理配置
source /etc/profile
3.2 Zookeeper安裝
3.2.0解壓
tar -zxvf zookeeper-3.4.5.tar.gz -C /usr/local/ys/app(解壓)
3.2.1 重新命名
mv zookeeper-3.4.5 zookeeper(重新命名資料夾zookeeper-3.4.5為zookeeper)
3.2.2修改環境變數
vi /etc/profile(修改檔案)
新增內容:
export ZOOKEEPER_HOME=/usr/local/ys/app/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin
3.2.3 重新編譯檔案:
source /etc/profile
注意:3臺zookeeper都需要修改
3.2.4修改配置檔案
cd zookeeper/conf
cp zoo_sample.cfg zoo.cfg
vi zoo.cfg
新增內容:
dataDir=/usr/local/ys/app/zookeeper/data
dataLogDir=/usr/local/ys/app/zookeeper/log
server.1=ys01:2888:3888 (主機名, 心跳埠、資料埠)
server.2=ys02:2888:3888
server.3=ys04:2888:3888
3.2.5 建立資料夾
cd /usr/local/ys/app/zookeeper/
mkdir -m 755 data
mkdir -m 755 log
3.2.6 在data資料夾下新建myid檔案,myid的檔案內容為:
cd data
vi myid
新增內容:
1
將叢集下發到其他機器上
scp -r /usr/local/ys/app/zookeeper ys02:/usr/local/ys/app/
scp -r /usr/local/ys/app/zookeeper ys04:/usr/local/ys/app/
3.2.7修改其他機器的配置檔案
到ys02上:修改myid為:2
到ys02上:修改myid為:3
3.2.8啟動(每臺機器)
zkServer.sh start
檢視叢集狀態
jps(檢視程序)
zkServer.sh status(檢視叢集狀態,主從資訊)
3.3 Hadoop(HDFS+Yarn)
3.3.0 alt+p 後出現sftp視窗,使用sftp上傳tar包到虛機ys01的/usr/local/ys/soft目錄下
3.3.1 解壓jdk
cd /usr/local/ys/soft
#解壓
tar -zxvf cenos-7-hadoop-2.6.4.tar.gz -C /usr/local/ys/app
3.3.2 修改配置檔案
core-site.xml
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
- 52
- 53
- 54
- 55
- 56
- 57
- 58
- 59
- 60
- 61
- 62
- 63
- 64
- 65
- 66
- 67
- 68
- 69
- 70
- 71
- 72
- 73
- 74
- 75
- 76
- 77
- 78
- 79
- 80
- 81
- 82
- 83
- 84
- 85
- 86
- 87
- 88
- 89
- 90
hdfs-site.xml
- 1
- 2
yarn-sifite.xml
- 1
- 2
svales
ys02
ys03
ys04
3.3.3叢集啟動(嚴格按照下面的步驟)
3.3.3.1啟動zookeeper叢集(分別在ys01、ys02、ys04上啟動zk)
cd /usr/local/ys/app/zookeeper-3.4.5/bin/
./zkServer.sh start
#檢視狀態:一個leader,兩個follower
./zkServer.sh status
3.3.3.2啟動journalnode(分別在在mini5、mini6、mini7上執行)
cd /usr/local/ys/app/hadoop-2.6.4
sbin/hadoop-daemon.sh start journalnode
#執行jps命令檢驗,ys02、ys03、ys04上多了JournalNode程序
3.3.3.3格式化HDFS
#在ys01上執行命令:
hdfs namenode -format
#格式化後會在根據core-site.xml中的hadoop.tmp.dir配置生成個檔案,這裡我配置的是/usr/local/ys/app/hadoop-2.6.4/tmp,然後將/usr/local/ys/app/hadoop-2.6.4/tmp拷貝到ys02的/usr/local/ys/app/hadoop-2.6.4/下。
scp -r tmp/ ys02:/usr/local/ys /app/hadoop-2.6.4/
##也可以這樣,建議hdfs namenode -bootstrapStandby
3.3.3.4格式化ZKFC(在ys01上執行一次即可)
hdfs zkfc -formatZK
3.3.3.5啟動HDFS(在ys01上執行)
sbin/start-dfs.sh
3.3.3.6啟動YARN
sbin/start-yarn.sh
3.3MySQL-5.6安裝
略過
3.4 Hive
3.4.1 alt+p 後出現sftp視窗,cd /usr/local/ys/soft,使用sftp上傳tar包到虛機ys01的/usr/local/ys/soft目錄下
3.4.2解壓
cd /usr/local/ys/soft
tar -zxvf hive-0.9.0.tar.gz -C /usr/local/ys/app
3.4.3 .配置hive
3.4.3.1配置HIVE_HOME環境變數 vi conf/hive-env.sh 配置其中的$hadoop_home
3.4.3.2配置元資料庫資訊 vi hive-site.xml
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
新增如下內容:
3.4.4 安裝hive和mysq完成後,將mysql的連線jar包拷貝到$HIVE_HOME/lib目錄下
如果出現沒有許可權的問題,在mysql授權(在安裝mysql的機器上執行)
mysql -uroot -p
#(執行下面的語句 *.*:所有庫下的所有表 %:任何IP地址或主機都可以連線)
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION;
FLUSH PRIVILEGES;
3.4.5 Jline包版本不一致的問題,需要拷貝hive的lib目錄中jline.2.12.jar的jar包替換掉hadoop中的 /usr/local/ys/app/hadoop-2.6.4/share/hadoop/yarn/lib/jline-0.9.94.jar
3.4.6啟動hive
bin/hive
3.5 Kafka
3.5.1 下載安裝包
http://kafka.apache.org/downloads.html
在linux中使用wget命令下載安裝包
wget http://mirrors.hust.edu.cn/apache/kafka/0.8.2.2/kafka_2.11-0.8.2.2.tgz
3.5.2 解壓安裝包
tar -zxvf /usr/local/ys/soft/kafka_2.11-0.8.2.2.tgz -C /usr/local/ys/app/
cd /usr/local/ys/app/
ln -s kafka_2.11-0.8.2.2 kafka
3.5.3 修改配置檔案
cp
/usr/local/ys/app/kafka/config/server.properties
/usr/local/ys/app/kafka/config/server.properties.bak
vi /usr/local/ys/kafka/config/server.properties
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
輸入以下內容:
3.5.4 分發安裝包
scp -r /usr/local/ys/app/kafka_2.11-0.8.2.2 ys02: /usr/local/ys/app/
scp -r /usr/local/ys/app/kafka_2.11-0.8.2.2 ys03: /usr/local/ys/app/
scp -r /usr/local/ys/app/kafka_2.11-0.8.2.2 ys04: /usr/local/ys/app/
然後分別在各機器上建立軟連
cd /usr/local/ys/app/
ln -s kafka_2.11-0.8.2.2 kafka
3.5.5 再次修改配置檔案(重要)
依次修改各伺服器上配置檔案的的broker.id,分別是0,1,2不得重複。
3.5.6 啟動叢集
依次在各節點上啟動kafka
bin/kafka-server-start.sh config/server.properties
3.6 Spark
3.6.1 alt+p 後出現sftp視窗,cd /usr/local/ys/soft,使用sftp上傳tar包到虛機ys01的/usr/local/ys/soft目錄下
3.6.2 解壓安裝包
tar -zxvf /usr/local/ys/soft/ spark-1.6.1-bin-hadoop2.6.tgz -C /usr/local/ys/app/
3.6.3 修改Spark配置檔案(兩個配置檔案spark-env.sh和slaves)
cd /usr/local/ys/soft/spark-1.6.1-bin-hadoop2.6
進入conf目錄並重命名並修改spark-env.sh.template檔案
cd conf/
mv spark-env.sh.template spark-env.sh
vi spark-env.sh
在該配置檔案中新增如下配置
export JAVA_HOME=/usr/java/jdk1.7.0_45
export SPARK_MASTER_PORT=7077
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=ys01,ys02,ys04 -Dspark.deploy.zookeeper.dir=/spark"
儲存退出
重新命名並修改slaves.template檔案
mv slaves.template slaves
vi slaves
在該檔案中新增子節點所在的位置(Worker節點)
Ys02
Ys03
Ys04
儲存退出
3.6.4 將配置好的Spark拷貝到其他節點上
scp -r spark-1.6.1-in-hadoop2.6/ ys02:/usr/local/ys/app
scp -r spark-1.6.1-bin-hadoop2.6/ ys03:/usr/local/ys/app
scp -r spark-1.6.1-bin-hadoop2.6/ ys04:/usr/local/ys/app
3.6.5 叢集啟動
在ys01上執行sbin/start-all.sh指令碼
然後在ys02上執行sbin/start-master.sh啟動第二個Master
3.7 Azkaban
3.7.1 azkaban web伺服器安裝
解壓azkaban-web-server-2.5.0.tar.gz
命令: tar –zxvf /usr/local/ys/soft/azkaban-web-server-2.5.0.tar.gz -C /usr/local/ys/app/azkaban
將解壓後的azkaban-web-server-2.5.0 移動到 azkaban目錄中,並重新命名 webserver
命令: mv azkaban-web-server-2.5.0 ../azkaban
cd ../azkaban
mv azkaban-web-server-2.5.0 webserver
3.7.2 azkaban 執行服器安裝
解壓azkaban-executor-server-2.5.0.tar.gz
命令:tar –zxvf /usr/local/ys/soft/azkaban-executor-server-2.5.0.tar.gz -C /usr/local/ys/app/azkaban
將解壓後的azkaban-executor-server-2.5.0 移動到 azkaban目錄中,並重新命名 executor
命令:mv azkaban-executor-server-2.5.0 ../azkaban
cd ../azkaban
mv azkaban-executor-server-2.5.0 executor
3.7.3 azkaban指令碼匯入
解壓: azkaban-sql-script-2.5.0.tar.gz
命令:tar –zxvf azkaban-sql-script-2.5.0.tar.gz
將解壓後的mysql 指令碼,匯入到mysql中:
進入mysql
mysql> create database azkaban;
mysql> use azkaban;
Database changed
mysql> source /usr/local/ys/soft/azkaban-2.5.0/create-all-sql-2.5.0.sql;
3.7.4 建立SSL配置
參考地址: http://docs.codehaus.org/display/JETTY/How+to+configure+SSL
命令: keytool -keystore keystore -alias jetty -genkey -keyalg RSA
執行此命令後,會提示輸入當前生成 keystor的密碼及相應資訊,輸入的密碼請勞記,資訊如下(此處我輸入的密碼為:123456)
輸入keystore密碼:
再次輸入新密碼:
您的名字與姓氏是什麼?
[Unknown]:
您的組織單位名稱是什麼?
[Unknown]:
您的組織名稱是什麼?
[Unknown]:
您所在的城市或區域名稱是什麼?
[Unknown]:
您所在的州或省份名稱是什麼?
[Unknown]:
該單位的兩字母國家程式碼是什麼
[Unknown]: CN
CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=CN 正確嗎?
[否]: y
輸入<jetty>的主密碼(如果和 keystore 密碼相同,按回車):
再次輸入新密碼
完成上述工作後,將在當前目錄生成 keystore 證書檔案,將keystore 考貝到 azkaban web伺服器根目錄中.如:cp keystore azkaban/webserver
3.7.5 配置檔案
注:先配置好伺服器節點上的時區
先生成時區配置檔案Asia/Shanghai,用互動式命令 tzselect 即可
拷貝該時區檔案,覆蓋系統本地時區配置
cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
3.7.6 azkaban web伺服器配置
進入azkaban web伺服器安裝目錄 conf目錄
修改azkaban.properties檔案
命令vi azkaban.properties
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
- 52
- 53
- 54
- 55
- 56
- 57
- 58
- 59
- 60
- 61
- 62
- 63
- 64
- 65
- 66
- 67
- 68
- 69
- 70
- 71
- 72
- 73
- 74
- 75
- 76
- 77
- 78
- 79
- 80
- 81
- 82
- 83
- 84
- 85
- 86
- 87
- 88
- 89
- 90
- 91
- 92
- 93
- 94
- 95
- 96
- 97
- 98
- 99
- 100
- 101
- 102
- 103
- 104
- 105
- 106
- 107
- 108
- 109
- 110
- 111
- 112
- 113
- 114
內容說明如下:
*Azkaban Personalization Settings
azkaban.name=Test #伺服器UI名稱,用於伺服器上方顯示的名字
azkaban.label=My Local Azkaban #描述
azkaban.color=#FF3601 #UI顏色
azkaban.default.servlet.path=/index #
web.resource.dir=web/ #預設根web目錄
default.timezone.id=Asia/Shanghai #預設時區,已改為亞洲/上海 預設為美國
*Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager #使用者許可權管理預設類
user.manager.xml.file=conf/azkaban-users.xml #使用者配置,具體配置參加下文
*Loader for projects
executor.global.properties=conf/global.properties # global配置檔案所在位置
azkaban.project.dir=projects #
database.type=mysql #資料庫型別
mysql.port=3306 #埠號
mysql.host=localhost #資料庫連線IP
mysql.database=azkaban #資料庫例項名
mysql.user=root #資料庫使用者名稱
mysql.password=Root123456 #資料庫密碼
mysql.numconnections=100 #最大連線數
* Velocity dev mode
velocity.dev.mode=false
* Jetty伺服器屬性.
jetty.maxThreads=25 #最大執行緒數
jetty.ssl.port=8443 #Jetty SSL埠
jetty.port=8081 #Jetty埠
jetty.keystore=keystore #SSL檔名
jetty.password=123456 #SSL檔案密碼
jetty.keypassword=123456 #Jetty主密碼 與 keystore檔案相同
jetty.truststore=keystore #SSL檔名
jetty.trustpassword=123456 # SSL檔案密碼
* 執行伺服器屬性
executor.port=12321 #執行伺服器端
*郵件設定
[email protected] #傳送郵箱
mail.host=smtp.163.com #傳送郵箱smtp地址
mail.user=xxxxxxxx #傳送郵件時顯示的名稱
mail.password=********** #郵箱密碼
[email protected] #任務失敗時傳送郵件的地址
[email protected] #任務成功時傳送郵件的地址
lockdown.create.projects=false #
cache.directory=cache #快取目錄
3.7.7azkaban 執行伺服器executor配置
進入執行伺服器安裝目錄conf,修改azkaban.properties
vi azkaban.properties
*Azkaban
default.timezone.id=Asia/Shanghai #時區
* Azkaban JobTypes 外掛配置
azkaban.jobtype.plugin.dir=plugins/jobtypes #jobtype 外掛所在位置
*Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects
*資料庫設定
database.type=mysql #資料庫型別(目前只支援mysql)
mysql.port=3306 #資料庫埠號
mysql.host=192.168.20.200 #資料庫IP地址
mysql.database=azkaban #資料庫例項名
mysql.user=root #資料庫使用者名稱
mysql.password=Root23456 #資料庫密碼
mysql.numconnections=100 #最大連線數
*執行伺服器配置
executor.maxThreads=50 #最大執行緒數
executor.port=12321 #埠號(如修改,請與web服務中一致)
executor.flow.threads=30 #執行緒數
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
- 52
- 53
- 54
- 55
- 56
- 57
- 58
- 59
- 60
- 61
- 62
- 63
- 64
- 65
- 66
- 67
- 68
- 69
- 70
- 71
- 72
- 73
- 74
- 75
3.7.8使用者配置
進入azkaban web伺服器conf目錄,修改azkaban-users.xml
vi azkaban-users.xml 增加 管理員使用者
- 1
- 2
- 3
- 4
3.7.9 web伺服器啟動
在azkaban web伺服器目錄下執行啟動命令
bin/azkaban-web-start.sh
注:在web伺服器根目錄執行
或者啟動到後臺
nohup bin/azkaban-web-start.sh 1>/tmp/azstd.out 2>/tmp/azerr.out &
3.7.10執行伺服器啟動
在執行伺服器目錄下執行啟動命令
bin/azkaban-executor-start.sh
注:只能要執行伺服器根目錄執行
啟動完成後,在瀏覽器(建議使用谷歌瀏覽器)中輸入https://伺服器IP地址:8443 ,即可訪問azkaban服務了.在登入中輸入剛才新的戶用名及密碼,點選 login
3.8 Zeppelin
參照如下檔案:
http://blog.csdn.net/chengxuyuanyonghu/article/details/54915817
http://blog.csdn.net/chengxuyuanyonghu/article/details/54915962
3.9 HBase
3.9.1解壓
tar –zxvf /usr/local/ys/soft/hbase-0.99.2-bin.tar.gz -C /usr/local/ys/app
3.9.2重新命名
cd /usr/local/ys/app
mv hbase-0.99.2 hbase
3.9.3修改配置檔案
每個檔案的解釋如下:
hbase-env.sh
export JAVA_HOME=/usr/local/ys/app/jdk1.7.0_80 //jdk安裝目錄
export HBASE_CLASSPATH=/usr/local/ys/app/hadoop-2.6.4/etc/hadoop //hadoop配置檔案的位置
export HBASE_MANAGES_ZK=false #如果使用獨立安裝的zookeeper這個地方就是false(此處使用自己的zookeeper)
hbase-site.xml
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
Regionservers //是從機器的域名
Ys02
ys03
ys04
注:此處HBase配置是針對HA模式的hdfs
3.9.4將Hadoop的配置檔案hdfs-site.xml和core-site.xml拷貝到HBase配置檔案中
cp /usr/local/ys/app/Hadoop-2.6.4/etc/hadoop/hdfs-site.xml /usr/local/ys/app/hbase/conf
cp /usr/local/ys/app/hadoop-2.6.4/etc/hadoop/core-site.xml /usr/local/ys/app/hbase/conf
3.9.5發放到其他機器
scp –r /usr/local/ys/app/hbase ys02: /usr/local/ys/app
scp –r /usr/local/ys/app/hbase ys03: /usr/local/ys/app
scp –r /usr/local/ys/app/hbase ys04: /usr/local/ys/app
3.9.6啟動
cd /usr/local/ys/app/hbase/bin
./ start-hbase.sh
3.9.7檢視
程序:jps
進入hbase的shell:hbase shell
退出hbase的shell:quit
頁面:http://master:60010/
3.10KAfkaOffsetMonitor(Kafka叢集的監控程式,本質就是一個jar包)
3.10.1上傳jar包
略
3.10.2 執行jar包
nohup java -cp KafkaOffsetMonitor-assembly-0.2.1.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --zk ys01,ys02,ys04 --refresh 5.minutes --retain 1.day --port 8089 $
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
4. 叢集調優
4.1 輔助工具儘量不安裝到資料或者運算節點,避免佔用過多計算或記憶體資源。
4.2 dataNode和spark的slave節點儘量在一起;這樣運算的時候就可以避免通過網路拉取資料,加快運算速度。
4.3 Hadoop叢集機架感知配置,配置之後可以使得資料在同機架的不同機器2份,然後其他機架機器1份,可是兩臺機器四臺虛機沒有必要配感知個人感覺。
4.4 配置引數調優
可以參考http://blog.csdn.net/chndata/article/details/46003399
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
第三階段(輔助工具工學習階段)
11)Sqoop(CSDN,51CTO ,以及官網)—20小時
- 資料匯出概念介紹
- Sqoop基礎知識
- Sqoop原理及配置說明
- Sqoop資料匯入實戰
- Sqoop資料匯出實戰、
- Sqoop批量作業操作
12)Flume(CSDN,51CTO ,以及官網)—20小時
- FLUME日誌採集框架介紹。
- FLUME工作機制。
- FLUME核心元件。
- FLUME引數配置說明。
- FLUME採集nginx日誌案例(案例一定要實踐一下)
13)Oozie(CSDN,51CTO ,以及官網)–20小時
- 任務排程系統概念介紹。
- 常用任務排程工具比較。
- Oozie介紹。
- Oozie核心概念。
- Oozie的配置說明。
- Oozie實現mapreduce/hive等任務排程實戰案例。
14)Hue(CSDN,51CTO ,以及官網)–20小時
第四階段(不斷學習階段)
每天都會有新的東西出現,需要關注最新技術動態,不斷學習。任何一般技術都是先學習理論,然後在實踐中不斷完善理論的過程。
備註
1)如果你覺得自己看書效率太慢,你可以網上搜集一些課程,跟著課程走也OK 。如果看書效率不高就很網課,相反的話就自己看書。
2)企業目前更傾向於使用Spark進行微批處理,Storm只有在對時效性要求極高的情況下,才會使用,所以可以做了解。重點學習Spark Streaming。
3)快速學習的能力、解決問題的能力、溝通能力**真的很重要。
4)要善於使用StackOverFlow和Google(遇到解決不了的問題,先Google,如果Google找不到解決方能就去StackOverFlow提問,一般印度三哥都會在2小時內回答你的問題)。
5)視訊課程推薦:
可以去萬能的淘寶購買一些視訊課程,你輸入“大資料視訊課程”,會出現很多,多購買幾份(100塊以內可以搞定),然後選擇一個適合自己的。個人認為小象學院的董西成和陳超的課程含金量會比較高。
四、持續學習資源推薦
五、專案案例分析
1)點選流日誌專案分析(此處借鑑CSDN博主的文章,由於沒有授權,所以就沒有貼過來,下面附上鍊接)—-批處理
最後但卻很重要一點:每天都會有新的技術出現,要多關注技術動向,持續學習。
以上內容不保證一年以後仍適用。
【GitChat達人課】
相關推薦
阿里年薪50萬的JAVA工程師轉大資料學習路線!
大資料有兩個方向,一個是偏計算機的,另一個是偏經濟的。你學過Java,所以你可以偏將計算機的。 Java程式設計師想轉大資料可行嗎?Java是全世界使用人數最多的程式語言。不少程式設計師選擇Java做為了自己的程式設計第一語言,但隨之而來的是Java程式設計師接近飽和的人才市場。由此,隨
java轉大資料方向學習路線
申明: 本文旨在為普通程式設計師(Java程式設計師最佳)提供一個入門級別的大資料技術學習路徑,不適用於大資料工程師的進階學習,也不適用於零程式設計基礎的同學。 目錄 前言 一、背景介紹 二、大資料介紹 正文 一、大資料相關工作介紹 二、大資料工程師的技能要求
java轉大資料的學習路線
【不要錯過文末彩蛋】 申明: 本文旨在為普通程式設計師(Java程式設計師最佳)提供一個入門級別的大資料技術學習路徑,不適用於大資料工程師的進階學習,也不適用於零程式設計基礎的同學。 前言: 一、背景介紹 二、大資料介紹 正文: 一、大資料相關的工作介紹 二
入門到精通:資深程式設計師規劃JAVA大資料學習路線(附視訊教程)
人類正在從IT時代走向DT(Data Technology)的時代。以網際網路、雲端計算、大資料和人工智慧為代表的技術革命正在滲透至各行各業,改變著我們的生活。 本文主要針對從事大資料開發的程式設計師們整理了整套的大資料學習相關的路線圖和知識材料,希望能幫助到大家。 很多初學者,對大資
java大資料學習路線
第一階段:大資料基礎Java語言基礎階段 1.1:Java開發介紹 1.1.1 Java的發展歷史 1.1.2 Java的應用領域 1.1.3 Java語言的特性 1.1.4 Java面向物件 1.1.5 Java效能分類 1.1.6 搭建Java環境 1.1.7 J
JAVA轉大資料的學習之路,就該這樣走(內附1T大資料資料)
如今使用了 23 年的 Java不再免費了,Java程式設計師是時候該轉移了,現在大資料的時代下,更是Java程式設計師們轉型可遇而不可求的機遇。為什麼要這麼說呢? 因為Java程式設計師轉型大資料工程師有著天然進階優勢,不僅僅是前景和薪資。技術層面來說,大資料使用的Hadoop(在分散式伺服器
JAVA 大資料學習路線
Java基礎 多執行緒 (多瞭解java.util.conconrrent包的類)集合框架IO反射(如何實現根據傳入的Class例項來構造物件、實現兩個類中相同名稱的例項域之間的自動賦值 。。)
大資料學習路線是什麼?學大資料需要什麼基礎?
因為大資料前景好,薪資高,很多人想通過參加學習大資料,然後進入大資料行業發展。但是因為大資料的門檻較高,對於學習人員有一定的要求,那麼學習大資料需要什麼基礎知識呢? 一起來了解下對於大資料學習者本身的學歷水平的要求。 目前大多數的機構,對於大資料學習者要求必須是大專學歷以上,而且大專學歷還要
大資料學習路線是什麼,小白如何學大資料?
大資料這個話題熱度一直高居不下,不僅是國家政策的扶持,也是科技順應時代的發展。想要學習大資料,我們該怎麼做呢?大資料學習路線是什麼?先帶大家瞭解一下大資料的特徵以及發展方向。 大資料的三個發展方向,平臺搭建/優化/運維/監控、大資料開發/設計/架構、資料分析/挖掘。 大資料學習群142
大資料學習路線指導,告訴你如何學習大資料
大資料指不用隨機分析法這樣捷徑,而採用所有資料進行分析處理的方法。網際網路時代每個企業每天都要產生龐大的資料,對資料進行儲存,對有效的資料進行挖掘分析並應用需要依賴於大資料開發,大資料開發課程採用真實商業資料來源並融合雲端計算+機器學習,讓學員有實力入職一線網際網路企業。 今天小編的技術分享詳細學習大資料的
大資料學習路線 讓你精準掌握大資料技術學習
大資料指不用隨機分析法這樣捷徑,而採用所有資料進行分析處理的方法。網際網路時代每個企業每天都要產生龐大的資料,對資料進行儲存,對有效的資料進行挖掘分析並應用需要依賴於大資料開發,大資料開發課程採用真實商業資料來源並融合雲端計算+機器學習,讓學員有實力入職一線網際網路企業。 今天小編的技術分享詳細學習大資料的
大資料學習路線總結
大資料學習路線總結 1.大資料基礎入門 對比:Java開發和大資料開發 1.1為什麼要學習大資料 目的:很好找工作 對比:Java開發和大資料開發 1.2什麼是大資料 舉例: 一商品推薦:問題:(1)大量的訂單如何儲存(2)大量的訂單如何計算 二
小白如何學習大資料開發,大資料學習路線是怎樣的?
零基礎的同學學習大資料開發不能急於求成,要分階段分步驟來一步步完成,科多大資料給大家來分享一下大資料的學習路線是什麼?小白該怎麼學習大資料呢,大概可以分為四步:大資料學習資料分享群142973723第一個階段:瞭解大資料的基本概念 首先,學習一門課程的時候,要對這門課程有一個簡單的瞭解,比如說,要先學習這門
大資料學習路線(轉載)
學習路線文章 哎,都是淚!!! 一、大資料技術基礎 1、linux操作基礎 linux系統簡介與安裝 linux常用命令–檔案操作 linux常用命令–使用者管理與許可權 linux常用命令–系統管理 linux常用命令–免密登陸配置與網路管理 linux上常用軟體安裝 linux本地yum源配置及yum
大資料學習路線:Zookeeper叢集管理與選舉
大資料技術的學習,逐漸成為很多程式設計師的必修課,因為趨勢也是因為自己的職業生涯。在各個技術社群分享交流成為很多人學習的方式,今天很榮幸給我們分享一些大資料基礎知識,大家可以一起學習! 1.叢集機器監控 這通常用於那種對叢集中機器狀態,機器線上率有較高要求的場景,能夠快速對叢集中機器變化作出響
大資料 學習路線,適合新手學的的,讓你成為年薪30萬的
學習大資料首先我們要學習Java語言和Linux作業系統,這兩個是學習大資料的基礎,學習的順序不分前後。 Java 大家都知道Java的方向有JavaSE、JavaEE、JavaME,學習大資料要學習那個方向呢?只需要學習Java的標準版JavaSE就可以了,像Servlet、JSP、
如何學習大資料?首先你需要一條這樣的大資料學習路線
最近很多人問我現在學習大資料這麼多,他們都是如何學習的呢。很多初學者在萌生向大資料方向發展的想法之後,不免產生一些疑問,應該怎樣入門?應該學習哪些技術?學習路線又是什麼?今天小編特意為大家整理了一份大資料從入門到精通的學習路線。並且附帶學習資料和視訊。希望能夠幫助到大家。 第一階段:Lin
零基礎轉行大資料怎麼學習?大資料學習路線
大資料的領域非常廣泛,往往使想要開始學習大資料及相關技術的人望而生畏。大資料技術的種類眾多,這同樣使得初學者難以選擇從何處下手。希望能為你開始學習大資料的征程提供幫助,以及在大資料產業領域找到工作指明道路。 一、大資料技術基礎 1、linux操作基礎 · linux系統簡介與安裝 ·
適合零基礎學員的大資料學習路線
適合零基礎學員的大資料學習路線 人工智慧時代,大資料也隨之升溫,很多有遠見的朋友都想著從事與大資料有關的工作,但目前市場上很多大資料課程都是冒牌大資料,今天大 資料大咖,給你提供一份靠譜的大資料學習路線,幫助你瞭解大資料的概況。 第一階段:大資料基
大資料學習路線指南(最全知識點總結)
大資料是對海量資料進行儲存、計算、統計、分析處理的一系列處理手段,處理的資料量通常是TB級,甚至是PB或EB級的資料,這是傳統資料處理手段所無法完成的,其涉及的技術有分散式計算、高併發處理、高可用處理、叢集、實時性計算等,彙集了當前IT領域熱門流行的IT技術。 大資料入門,需要