一.從hdfs檔案系統下載檔案到本地檔案系統時Java程式碼。  

    import java.net.URI;
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.FileSystem;
    import org.apache.hadoop.fs.Path;
    public class getfile {
	    public static void main(String[] args) throws Exception{
	 	    FileSystem fs=FileSystem.get(new URI("hdfs://192.168.11.12:9000"),new Configuration());
		    Path src=new Path("/data/wordcount/file1");
		    Path dst=new Path("D:\\app");
		    fs.copyToLocalFile(src, dst);
		    fs.copyToLocalFile(false,src, dst,true);
	    }
    }
 

二.執行程式錯誤程式碼。  

   Exception in thread "main" java.lang.NullPointerException
   at java.lang.ProcessBuilder.start(ProcessBuilder.java:459)
   at org.apache.hadoop.util.Shell.runCommand(Shell.java:149)
   at org.apache.hadoop.util.Shell.run(Shell.java:134)
   at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:286)
   at org.apache.hadoop.util.Shell.execCommand(Shell.java:354)
   at org.apache.hadoop.util.Shell.execCommand(Shell.java:337)
   at org.apache.hadoop.fs.RawLocalFileSystem.execCommand(RawLocalFileSystem.java:481)
   at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:473)
   at org.apache.hadoop.fs.FilterFileSystem.setPermission(FilterFileSystem.java:280)
   at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:372)
   at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:479)
   at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:460)
   at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:367)
   at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:208)
   at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:199)
   at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:142)
   at org.apache.hadoop.fs.FileSystem.copyToLocalFile(FileSystem.java:1211)
   at org.apache.hadoop.fs.FileSystem.copyToLocalFile(FileSystem.java:1192)
   ......
   .....
 

三.修改方式。 

       fs.copyToLocalFile(src, dst);改為fs.copyToLocalFile(false,src,dst,true);

       fs.copyToLocalFile)方法在原始碼中的程式碼如下
       public void copyToLocalFile(boolean delSrc, Path src, Path dst, boolean useRawLocalFileSystem) 
          throws IOException { 
                  Configuration conf = getConf(); 
                  FileSystem local = null; 
                  if (useRawLocalFileSystem) { 
                   local = getLocal(conf).getRawFileSystem(); 
                  }
                  else { 
                     local = getLocal(conf); 
                  }
                  FileUtil.copy(this, src, local, dst, delSrc, conf);
       }
 

 四.錯誤原因.   

      在使用copyToLocalFile(Path src, Path dst)方法時可能導致 setPermission檔案本地檔案效驗失敗.   

      因此使用copyToLocalFile( boolean delSrc,Path src, Path dst, boolean useRawLocalFileSystem)

         boolean delSrc 指是否將原檔案刪除

         Path src 指要下載的檔案路徑

         Path dst 指將檔案下載到的路徑

         boolean useRawLocalFileSystem 是否開啟檔案效驗

 五. RawLocalFileSystem檔案

        hadoop是一個綜合檔案系統，並不等價於hdfs檔案系統。hadoop集成了眾多的檔案系統， hdfs僅僅是hadoop旗艦級檔案系統。Hadoop的這個特點充分體現了hadoop的優良的可擴充套件性。在hadoop裡，hadoop定義了一個抽象的檔案系統的概念，類：org.apache.hadoop.fs.FileSystm，這個抽象類用來定義hadoop中的一個檔案系統介面，只要某個檔案系統實現了這個介面，就可以作為hadoop支援的檔案系統。

      Hadoop LocalFileSystem是客戶端校驗的類。在使用LocalFileSystem寫檔案時，會透明的建立一個.filename.crc的檔案。 校驗檔案大小的位元組數由io.bytes.per.checksum屬性設定，預設是512bytes,即每512位元組就生成一個CRC-32校驗和。.filename.crc檔案會存 io.bytes.per.checksum的資訊。在讀取的時候，會根據此檔案進行校驗。事實上LocalFileSystem是通過繼承ChecksumFileSystem實現校驗的工作。