本問提到的讀檔案進行讀操作使用的是FileInputStream方法,寫操作使用的是FileOutputStream方法,將字元內容進行拼接主要使用的是str+"a"和StringBuffer方法.

下面是一個指令碼檔案

#!/bin/bash
#下面設定輸入檔案，把使用者執行pre_deal.sh命令時提供的第一個引數作為輸入檔名稱
infile=$1
#下面設定輸出檔案，把使用者執行pre_deal.sh命令時提供的第二個引數作為輸出檔名稱
outfile=$2
#注意，最後的$infile> $outfile必須跟在}’這兩個字元的後面
awk -F "," 'BEGIN{
srand();
        id=0;
        Province[0]="山東";Province[1]="山西";Province[2]="河南";Province[3]="河北";Province[4]="陝西";Province[5]="內蒙古";Province[6]="上海市";
        Province[7]="北京市";Province[8]="重慶市";Province[9]="天津市";Province[10]="福建";Province[11]="廣東";Province[12]="廣西";Province[13]="雲南"; 
        Province[14]="浙江";Province[15]="貴州";Province[16]="新疆";Province[17]="西藏";Province[18]="江西";Province[19]="湖南";Province[20]="湖北";
        Province[21]="黑龍江";Province[22]="吉林";Province[23]="遼寧"; Province[24]="江蘇";Province[25]="甘肅";Province[26]="青海";Province[27]="四川";
        Province[28]="安徽"; Province[29]="寧夏";Province[30]="海南";Province[31]="香港";Province[32]="澳門";Province[33]="臺灣";
    }
    {
        id=id+1;
        value=int(rand()*34);       
        print id"\t"$1"\t"$2"\t"$3"\t"$5"\t"substr($6,1,10)"\t"Province[value]
    }' $infile> $outfile
 

該指令碼為林子雨大資料實驗中對資料警醒與處理操作的檔案,其功能為在每行的末尾加上一列資料(地區)並寫入指定檔案,下面我們用java來實現這一指令碼的功能.

主要實現程式碼:

import org.apache.commons.lang.text.StrBuilder;

public class bigdatatest {
    /**
     * @param args
     * @throws IOException
     */
    public static void main(String[] args) throws IOException {
        // TODO Auto-generated method stub
        FileInputStream fis=null;
        InputStreamReader isr=null;
        BufferedReader bReader=null;
        OutputStreamWriter osw=null;
        FileOutputStream fos=null;
        BufferedWriter bWriter=null;
        try {
            int rand;
            String line;
            StringBuffer stringBuffer ;
            fis=new FileInputStream("/home/hadoop/text.txt");//定義輸入檔案
            fos=new FileOutputStream("/home/hadoop/text2.txt");//定義輸出檔案
            isr=new InputStreamReader(fis);//讀取輸入檔案
            osw=new OutputStreamWriter(fos);//寫入輸入檔案
            bReader=new BufferedReader(isr);//讀取緩衝區
            bWriter=new BufferedWriter(osw);//寫入快取區
            String[] city={"重慶","上海","北京","黑龍江","四川","湖南","新疆","哈爾濱"};//定義需要加入的內容,這裡就隨便寫幾個為例了
            while((line=bReader.readLine())!=null){ //按行讀取資料
                rand=new Random().nextInt(8);    //生成隨機數
                String aString=line+"\t"+city[rand]+"\n";//將讀取的行資料和字串陣列按要求進行拼接
                //stringBuffer = new StringBuffer();//新建一個字串緩衝區
                //aString =stringBuffer.append(line+"\t").append(city[rand]).toString();
                System.out.println(aString);//輸出拼接結果
                bWriter.write(aString);//將拼結果按行寫入出入檔案中
            }
        } catch (FileNotFoundException e) {
            // TODO: handle exception
            System.out.println("找不到檔案");
        }catch (IOException e) {
            // TODO: handle exception
            System.out.println("讀取檔案失敗");
        }finally{
            try {
                bReader.close();//關閉讀取緩衝區
                isr.close();//關閉讀取檔案內容
                fis.close();//關閉讀取檔案
                bWriter.close();//關閉寫入快取區
                osw.close();//關閉寫入檔案內容
                fos.close();//關閉寫入檔案
            } catch (IOException e) {
                // TODO: handle exception
                e.printStackTrace();
            }
        }
    }
}

程式碼執行結果:

至此,我們就在文件每一行的末尾位置加入了一個地區屬性.

值得注意的是在

stringBuffer = new StringBuffer();//新建一個字串緩衝區

時,如果再迴圈內不新建一個字元緩衝區的話會出現,他講每行的內容均寫入緩衝區,最終寫入文件時會出現每行寫入的是從檔案開頭到當前段落的所有內容.