1. 程式人生 > >Hadoop2.7.1版本---標準輸出HDFS檔案系統中的檔案

Hadoop2.7.1版本---標準輸出HDFS檔案系統中的檔案

Hadoop2.7.1版本—本文內容中有關地址的內容要自行根據自身設定修改

最近開始全身心的開始學習hadoop了,運行了系統jar檔案自帶的wordcount(和我們學習程式設計的第一天輸出helloworld一樣),開始執行自己編寫的案例程式。開始翻越網上的各種部落格,可是很多編譯執行類似的程式都是基於hadoop 1.0 等老版本的,令人十分苦惱!於是寫這篇部落格拿來分享給各位一起學習hadoop的小夥伴!!

1、先把我們要執行的程式碼給大家展示一下

import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;
import org.apache.hadoop.io.IOUtils;
import java.io.InputStream; import java.net.URL; public class URLCat{ static{ URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory()); } public static void main(String[] args) throws Exception { InputStream in = null; try
{ in = new URL(args[0]).openStream(); IOUtils.copyBytes(in,System.out,4096,false); } finally{ IOUtils.closeStream(in); } } }

2、編譯這段程式碼並生成jar包
首先我們在編譯之前要確保已經新增的如下環境變數。通過檢視~/.bashrc檔案即可。
這裡寫圖片描述
如果沒有的匯入下面的環境變數,請自行添上。並使檔案生效:命令列輸入 source ~/.bashrc

export HADOOP_HOME=/usr/local/hadoop
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH

開始編譯
這裡寫圖片描述
生成jar包
這裡寫圖片描述
3、執行程式
這裡寫圖片描述

本文程式碼引用 hadoop權威指南 第三版 63 頁 相關內容!