1. 程式人生 > >通過spark-submit提交hadoop配置的方法

通過spark-submit提交hadoop配置的方法

通過spark提交的spark開頭的配置在程式啟動後會新增到SparkConf中,但是hadoop相關的配置非spark開頭會被過濾掉,但是隻要在這些配置的key前面新增spark.hadoop.字首,則該key就不會被過濾,會被放置到SparkConf中;最終會儲存在Configuration  物件中,存入之前會將  spark.hadoop.字首截掉(如:hbase的hbase.zookeeper.quorum,則這樣傳遞:spark-submit --conf  spark.hadoop.hbase.zookeeper.quorum),見下方截圖程式碼邏輯

在spark應用中如果要是用這些key,只需要新增如下程式碼即可:

Configuration  conf = ss.sparkContext().hadoopConfiguration();

String quorum = conf.get("hbase.zookeeper.quorum");