### 歡迎訪問我的GitHub [https://github.com/zq2599/blog_demos](https://github.com/zq2599/blog_demos) 內容：所有原創文章分類彙總及配套原始碼，涉及Java、Docker、Kubernetes、DevOPS等； ### 關於Flink on Yarn三部曲 本文是《Flink on Yarn三部曲》的第一篇，整個系列由以下三篇組成： 1. 準備工作：搭建Flink on Yarn環境前，將所有硬體、軟體資源準備好； 2. 部署和設定：部署CDH和Flink，然後做相關設定 3. Flink實戰：在Yarn環境提交Flink任務 整個三部曲的實戰內容如下圖所示：  接下來就從最基本的準備工作開始吧。 ### 全文連結 1. [《Flink on Yarn三部曲之一：準備工作》](https://xinchen.blog.csdn.net/article/details/105356306) 2. [《 Flink on Yarn三部曲之二：部署和設定 》](https://xinchen.blog.csdn.net/article/details/105356347) 3. [《Flink on Yarn三部曲之三：提交Flink任務》](https://xinchen.blog.csdn.net/article/details/105356399) ### 關於Flink on Yarn 除了常見的standalone模式，Flink還支援將任務提交到Yarn環境執行，任務所需的計算資源由Yarn Remource Manager來分配，如下圖(來自Flink官網)：  因此需要搭建一套Yarn環境，通過CDH部署Yarn、HDFS等服務是常見方式，接下來就採用此方式來部署； ### 部署方式 ansible是常用的運維工具，可以大幅度簡化整個部署過程，接下來會使用ansible來完成部署工作，如果您對ansible還不夠了解，請參考[《ansible2.4安裝和體驗》](https://xinchen.blog.csdn.net/article/details/105342744),部署操作如下圖所示，在一臺安裝了ansible的電腦上執行指令碼，由ansible遠端連線到一臺CentOS7.7的伺服器上，完成部署工作：  ### 硬體準備 1. 一臺可以執行ansible的電腦，我這裡用的是MacBook Pro，也用CentOS驗證過，都可以順利完成部署； 2. 一臺CentOS7.7的電腦用於執行Yarn和Flink(文中的CDH伺服器就是指該電腦)，為了操作簡單，本次實戰將CDH、Yarn、HDFS、Flink都部署在這一臺機器上，實測發現，此電腦CPU至少要雙核，記憶體不低於16G，如果您想用多臺電腦部署CDH，建議自行修改ansible指令碼來分別部署，指令碼地址後面會給出； ### 軟體版本 1. ansible電腦作業系統：macOS Catalina 10.15(實測用CentOS也能成功) 2. CDH伺服器作業系統：CentOS Linux release 7.7.1908 3. cm版本：6.3.1 4. parcel版本：5.16.2 5. flink版本：1.7.2 注意：因為flink需要hadoop2.6版本，所以parcel選擇了5.16.2，這裡面對應的hadoop是2.6版 ### CDH伺服器設定 需要登入CDH伺服器執行以下設定： 1. 檢查/etc/hostname檔案是否正確，如下圖：  2. 修改/etc/hosts檔案，將自己的IP地址和hostname配置上去，如下圖紅框所示（事實證明這一步很重要，如果不做可能導致在部署時一直卡在"分配"階段，看agent日誌顯示agent下載parcel的進度一直是百分之零）：  ### 下載檔案(ansible電腦) 本次實戰要準備13個檔案，如下表所示(後面會給出每個檔案的獲取方式)： | 編號 | 檔名 | 簡介 | |--|--|--|--| | 1 | jdk-8u191-linux-x64.tar.gz | Linux版的jdk安裝包 | | 2 | mysql-connector-java-5.1.34.jar | mysql的JDBC驅動 | | 3 | cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm | cm的server安裝包 | | 4 | cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm | cm的daemon安裝包 | | 5 | cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm | cm的agent安裝包 | | 6 | CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel | CDH應用離線安裝包 | | 7 | CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha | CDH應用離線安裝包sha驗證碼 | | 8 | flink-1.7.2-bin-hadoop26-scala_2.11.tgz | flink安裝包 | | 9 | hosts | ansible用到的遠端主機配置，裡面記錄了CDH6伺服器的資訊 | | 10 | ansible.cfg | ansible用到的配置資訊 | | 11 | cm6-cdh5-flink1.7-single-install.yml | 部署CDH時用到的ansible指令碼 | | 12 | cdh-single-start.yml | 初次啟動CDH時用到的ansible指令碼 | | 13 | var.yml | 指令碼中用到的變數都在在此設值，
例如CDH包名、flink檔名等，便於維護 | 下面是每個檔案的下載地址： 1. jdk-8u191-linux-x64.tar.gz：Oracle官網可下，另外我將jdk-8u191-linux-x64.tar.gz和mysql-connector-java-5.1.34.jar一起打包上傳到csdn，您可以一次性下載，地址：https://download.csdn.net/download/boling_cavalry/12098987 2. mysql-connector-java-5.1.34.jar：maven中央倉庫可下，另外我將jdk-8u191-linux-x64.tar.gz和mysql-connector-java-5.1.34.jar一起打包上傳到csdn，您可以一次性下載，地址：https://download.csdn.net/download/boling_cavalry/12098987 3. cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm：https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm 4. cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm：https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm 5. cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm：https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm 6. CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel：https://archive.cloudera.com/cdh5/parcels/5.16.2/CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel 7. CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha：https://archive.cloudera.com/cdh5/parcels/5.16.2/CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha1 （下載完畢後，將副檔名從.sha1為.sha） 8. flink-1.7.2-bin-hadoop26-scala_2.11.tgz：http://ftp.jaist.ac.jp/pub/apache/flink/flink-1.7.2/flink-1.7.2-bin-hadoop26-scala_2.11.tgz 9. hosts、ansible.cfg、cm6-cdh5-flink1.7-single-install.yml、cdh-single-start.yml、var.yml ：這五個檔案都儲存在我的GitHub倉庫，地址是：https://github.com/zq2599/blog_demos ，這裡面有多個資料夾，上述檔案在名為ansible-cm6-cdh5-flink172-single的資料夾中，如下圖紅框所示：  ### 檔案擺放(ansible電腦) 如果您已經下載好了上述13個檔案，請按照如下位置擺放，這樣才能順利完成部署： 1. 在家目錄下新建名為playbooks的資料夾：mkdir ~/playbooks 2. 把這五個檔案放入playbooks資料夾：hosts、ansible.cfg、cm6-cdh5-flink1.7-single-install.yml、cdh-single-start.yml、vars.yml 3. 在playbooks資料夾裡新建名為cdh6的子資料夾； 4. 把這八個檔案放入cdh6資料夾(即剩餘的八個)：jdk-8u191-linux-x64.tar.gz、mysql-connector-java-5.1.34.jar、cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm、cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm、cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm、CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel、CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha、flink-1.7.2-bin-hadoop26-scala_2.11.tgz 5. 擺放完畢後目錄和檔案情況如下圖，再次提醒：資料夾playbooks一定要放在家目錄下（即：~/）：  ### ansible引數設定(ansible電腦) ansible引數設定的操作設定很簡單：配置好CDH伺服器的訪問引數即可，包括IP地址、登入賬號、密碼等，修改~/playbooks/hosts檔案，內容如下所示，您需要根據自身情況修改deskmini、ansible_host、ansible_port、ansible_user、ansible_password： ```shell [cdh_group]deskmini ansible_host=192.168.50.134 ansible_port=22 ansible_user=root ansible_password=888888 ``` 至此，所有準備工作已完成，下一篇文章我們將完成這些操作： 1. 部署CDH和Flink 2. 啟動CDH 3. 設定CDH、線上安裝Yarn、HDFS等 4. 調整Yarn引數，使Flink任務可以提交成功 ### 歡迎關注公眾號：程式設計師欣宸 > 微信搜尋「程式設計師欣宸」，我是欣宸，期待與您一同暢遊Java世界... [https://github.com/zq2599/blog_demos](https://github.com/zq2599/blo