引言：通過Java本地把windows裡的檔案資源上傳到centOs環境下的 hdfs檔案系統裡，中間遇到了很多問題，不過最終還是把檔案上傳到了hdfs裡了

環境：centos-7.0,hadoop.2.8.5.gz,jdk1.8,eclipse

1、下載hadoop.2.8.5.tar.gz和jdk1.8的linux版本安裝包，上傳到linux的根目錄下並配置環境變數，useradd hadoop一個使用者，這點就不再詳細說了，自己百度一下，隨便把hadoop.tar.gz解壓到一目錄裡，比如/opt/hadoop/hadoop.2.8.5,配置好以後可以看到版本。

2、我們進入到/opt/hadoop/hadoop.2.8.5/etc/裡面又很多配置檔案，我們修改hdfs.site.xml檔案跟core.site.xml檔案

<configuration>
      <property>
        <name>dfs.replication</name>
        <value>1</value>
     </property>
  
    <property>
        <name>dfs.namenode.rpc-bind-host</name>
        <value>0.0.0.0</value>
    </property>
    
     <property>
       <name>dfs.permissions</name>
        <value>false</value>
    </property>
    
</configuration>

core.site.xml 192.168.159.134是我本機的ip，通過ip add可以進行檢視，每個人都不一樣。

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.159.134:9000</value>
    </property>
</configuration>

3、一些常用命令：

cd /opt/hadoop/hadoop.2.8.5/etc/ service iptables stop// 要把防火牆關掉，不然無法進行網路連線

cd /opt/hadoop/hadoop.2.8.5/bin/ hdfs namenode -format //格式化名稱節點

cd /opt/hadoop/hadoop.2.8.5/sbin/ start-dfs.sh//重啟hadoop

cd /opt/hadoop/hadoop.2.8.5/sbin/ start-dfs.sh//stop hadoop

hadoop fs -ls hdfs://192.168.159.134:9000/  //檢視上傳的檔案

hadoop fs -put /a hdfs:192.168.159.134:9000  //centos環境下本地上傳檔案到hdfs

netstat -lnp//檢視網路埠

4、編寫Java 程式碼

package edu.jmi.hdfsclient;

import java.io.IOException;

import java.net.Socket;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

/**
 * Hello world!
 *
 */
public class AppTest 
{
    public static void main( String[] args ) throws Exception, IOException
    {
        upload();
    }
    
    public static void download() throws IOException {    
        Configuration conf = new Configuration();        
        conf.set("fs.defaultFS","hdfs://192.168.159.134:9000");        
        FileSystem fs = FileSystem.newInstance(conf);      
        fs.copyToLocalFile(new Path("/start-all.sh"),new Path("e://"));   
    }
    
    public static void upload() throws IOException {    
    Configuration conf = new Configuration();     
         conf.set("fs.defaultFS","hdfs://192.168.159.134:9000");     
         FileSystem fs = FileSystem.get(conf);
         Path src=new Path("d://my.txt");
         Path dest=new Path("/");
         fs.copyFromLocalFile(src,dest);
         FileStatus[] fileStatus  = fs.listStatus(dest);
         for(FileStatus file:fileStatus){
          System.out.println(file.getPath());
       }
         System.out.println("上傳成功");
    }
    
    public static void test()throws Exception{
        Socket socket=new Socket("192.168.159.134",9000);
        System.out.println(socket);//檢視網路是否相同，拒絕說明防火牆開了，外界無法訪問到網路。關一下就好了
    }

}

5、效果圖