1. 程式人生 > >Hadoop實踐(四)---在HDFS中合併檔案

Hadoop實踐(四)---在HDFS中合併檔案

HDFS的getMerge命令可以將HDFS中給定路徑下的檔案複製到本地檔案系統的單個合併後的檔案中

bin/hadoopfs -getmerge /user/foo/demofiles mergrd.txt

getmerge命令的語法

hadoopfs -getmerge <src> <localdst> [addnl]

第一個引數是HDFS的路徑,它包含要連線檔案的HDFS目錄
第二個引數是合併檔案的本地檔名
第三個引數是可選的,表示是否需要在每個合併後的結果檔案末尾新增新行