初學spark 的時候在 spark shell視窗類裡面操作以下程式碼對hdfs 的檔案進行操作的時候會出現找不到檔案的錯誤

val lineRDD= sc.textFile("/person.txt").map(_.split(" "))

【此處不配圖了】

原因是spark 沒有配置hadoop 相關的引數。

在spark-env.sh 中新增HADOOP_CONF_DIR配置，指明瞭hadoop的配置檔案(所那個資料夾, 一般在hadoop安裝目錄下的etc/hadoop中 )，預設它就是使用的hdfs的檔案系統, 使用其他檔案系統的時候就要宣告好.

export HADOOP_CONF_DIR=/opt/bigdata/hadoop-2.6.4/etc/hadoop

要使用本地檔案系統的時候要配置路徑 file：///本地路徑

另外使用前還要注意一定要啟動hdfs 才行。