1. 程式人生 > >利用docker 部署 spark項目的端口問題

利用docker 部署 spark項目的端口問題

spark 大數據 hadoop docker

利用Docker 安裝項目:

local模式要設置sparklocal.spark.driver.host

yarn模式中只設置sparklocal.spark.driver.host和可以啟動,但是無法執行任何語句,需要再設置

sparkyarn.spark.driver.bindAddress

和 blockmanager

即可,在spark啟動時指定對應host和bindaddress,docker指定訪問設定的host和bindAddress

和 blockmanager即可

註意:sparkyarn.spark.driver.bindAddress 是spark2.1.0才有的參數,之前是沒有的。所以說,在2.1.0之前,spark與docker結合,以上辦法行不通。


本文出自 “去買大白兔” 博客,轉載請與作者聯系!

利用docker 部署 spark項目的端口問題