windows系統下使用Java語言訪問Linux系統下HDFS檔案系統相關配置步驟
阿新 • • 發佈：2019-01-24
前提：Linux系統已部署完成Hadoop叢集並已啟動，在Windows系統可以通過IP:50070檢視HDFS檔案系統
配置過程：
1.Windows系統下安裝JDK並配置環境變數
2.Windows系統配置Hadoop環境變數
配置HADOOP_HOME
配置Path
配置CLASSPATH:
其中需要在hadoop2.6.0/bin目錄下新增以下檔案：
下載連結：https://download.csdn.net/download/cxx654/10383272
3.修改HDFS叢集檔案系統許可權：修改檔案 hadoop-2.6.0/etc/hadoop/hdfs-site.xml，增加如下內容：
<configuration>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
4.配置C:\Windows\System32 目錄內容，增加如下檔案：hadoop.dll、msvcr100.dll
5.建立Java Project專案，匯入相關jar包，需要匯入的jar包如下：
a)hadoop-2.6.0\share\hadoop\common\hadoop-common-2.6.0.jar
b)hadoop-2.6.0\share\hadoop\common\lib\ 目錄下的所有jar檔案
c)hadoop-2.6.0\share\hadoop\hdfs\hadoop-hdfs-2.6.0.jar
d)hadoop-2.6.0\share\hadoop\hdfs\lib\目錄下的所有jar檔案
6.在src資料夾下建立以log4j.properties命名的檔案，檔案內容如下：
log4j.rootLogger=WARN, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
配置過程：
1.Windows系統下安裝JDK並配置環境變數
2.Windows系統配置Hadoop環境變數
配置HADOOP_HOME
配置Path
配置CLASSPATH:
其中需要在hadoop2.6.0/bin目錄下新增以下檔案：
下載連結：https://download.csdn.net/download/cxx654/10383272
3.修改HDFS叢集檔案系統許可權：修改檔案 hadoop-2.6.0/etc/hadoop/hdfs-site.xml，增加如下內容：
<configuration>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
4.配置C:\Windows\System32 目錄內容，增加如下檔案：hadoop.dll、msvcr100.dll
5.建立Java Project專案，匯入相關jar包，需要匯入的jar包如下：
a)hadoop-2.6.0\share\hadoop\common\hadoop-common-2.6.0.jar
b)hadoop-2.6.0\share\hadoop\common\lib\ 目錄下的所有jar檔案
c)hadoop-2.6.0\share\hadoop\hdfs\hadoop-hdfs-2.6.0.jar
d)hadoop-2.6.0\share\hadoop\hdfs\lib\目錄下的所有jar檔案
6.在src資料夾下建立以log4j.properties命名的檔案，檔案內容如下：
log4j.rootLogger=WARN, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d%p [%c] - %m%n