[徐培成系列實戰課程]-docker篇-前序
阿新 • • 發佈：2019-02-18
apche 更新 doc img spark集群 大數 兩臺 process 輕量級 [徐培成系列實戰課程]docker篇
如何利用docker快速構建Spark獨立模式的集群
1、介紹
利用docker容器技術快速構建跨節點的獨立模型的Spark大數據集群。Spark是時下非常熱門的大數據計算引擎，現在apche官方網站已經更新至2.3.1的版本，而且熱度居高不下。很多企業越來越多的傾向於使用spark進行海量數據處理，主要是源於其高效快速的架構設計。
如何利用docker快速構建Spark獨立模式的集群
1、介紹
利用docker容器技術快速構建跨節點的獨立模型的Spark大數據集群。Spark是時下非常熱門的大數據計算引擎，現在apche官方網站已經更新至2.3.1的版本，而且熱度居高不下。很多企業越來越多的傾向於使用spark進行海量數據處理，主要是源於其高效快速的架構設計。
docker也是非常熱門的虛擬化技術，而且發展趨勢也是越來越強大，源於其超輕量級的部署和低資源消耗著稱，對於大數據從業人群，兩者組合可以說是技術發展的利器。更是大數據運維人員的渴求的技術。
2、目標
本次課程的主要目標就是在docker容器上部署spark集群，實驗環境使用win7操作系統，安裝vmware虛擬機軟件，在wmare中安裝2兩臺centos7的客戶機操作系統，在每個客戶機操作系統中安裝docker進行二次虛擬機化，並在每臺客戶機的centos7操作系統中啟動docker容器，分別安裝部署spark，組件獨立模式下的spark集群，能夠實現跨節點的容器間通信，網絡模式使用macvlan方式，摒棄繁瑣的端口映射方式，使集群更加容易管理和擴展。
[徐培成系列實戰課程]-docker篇-前序