最近有個需求，要把筆記本上的一個近30GB的檔案寫到HDFS上去。無奈虛擬機器伺服器的本地硬碟都只有20GB的容量，原始檔案無法採用copyFromLocal。試了一下筆記本通過copyFromLocal寫到HDFS，無奈龜速。最後想到一個辦法：

• 壓縮檔案，gz檔案大概到7G的樣子；
• 拷貝gz檔案至伺服器vm1；
• 在vm1上寫程式，讀取gz檔案資料流，寫到HDFS檔案上去；

結果看起來還不錯，程式碼如下：

import java.io.FileInputStream
import java.util.zip.GZIPInputStream
import java.io.File
import org.apache
 
.hadoop.fs.FileSystem
import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.fs.Path
import java.net.URI

object CopyZipFile {
    def main(args: Array[String]) = {
        val fn = args(0);
        val hfn = args(1);
        println(s"open file: $fn, save file: $hfn");
        val in = new FileInputStream(new File(fn));
 

        val conf = new Configuration();
        val fs = FileSystem.get(URI.create(hfn), conf);
        val out = fs.create(new Path(URI.create(hfn)));
        val ungzip = new GZIPInputStream(in);
        var buffer = new Array[Byte](102400);

        var n = 0;
        while (n >= 0) {
            n = ungzip.read
 
(buffer);
            if (n >= 0)
                out.write(buffer, 0, n);
        }

        out.close();
        in.close;
    }
}

程式碼一般，記下來，沒準會有一點參考價值。第一次真心體會到gzip資料流的優勢，哈哈~~

由於這是個maven專案，最後在伺服器上的執行命令是：

mvn exec:java -Dexec.mainClass="CopyZipFile" -Dexec.args="/root/dblp.rdf.gz hdfs://vm122:9000/dblp.rdf"