Hadoop2.7.1版本---標準輸出HDFS檔案系統中的檔案
阿新 • • 發佈:2019-01-07
Hadoop2.7.1版本—本文內容中有關地址的內容要自行根據自身設定修改
最近開始全身心的開始學習hadoop了,運行了系統jar檔案自帶的wordcount(和我們學習程式設計的第一天輸出helloworld一樣),開始執行自己編寫的案例程式。開始翻越網上的各種部落格,可是很多編譯執行類似的程式都是基於hadoop 1.0 等老版本的,令人十分苦惱!於是寫這篇部落格拿來分享給各位一起學習hadoop的小夥伴!!
1、先把我們要執行的程式碼給大家展示一下
import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;
import org.apache.hadoop.io.IOUtils;
import java.io.InputStream;
import java.net.URL;
public class URLCat{
static{
URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
}
public static void main(String[] args) throws Exception {
InputStream in = null;
try {
in = new URL(args[0]).openStream();
IOUtils.copyBytes(in,System.out,4096,false);
} finally{
IOUtils.closeStream(in);
}
}
}
2、編譯這段程式碼並生成jar包
首先我們在編譯之前要確保已經新增的如下環境變數。通過檢視~/.bashrc檔案即可。
如果沒有的匯入下面的環境變數,請自行添上。並使檔案生效:命令列輸入 source ~/.bashrc
export HADOOP_HOME=/usr/local/hadoop
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
開始編譯
生成jar包
3、執行程式
本文程式碼引用 hadoop權威指南 第三版 63 頁 相關內容!