1. 程式人生 > >mr原理簡單分析

mr原理簡單分析

背景

     又是一個週末一天一天的過的好快,今天的任務幹啥呢,索引總結一些mr吧,因為前兩天有面試問過我?我當時也是簡單說了一下,畢竟現在寫mr程式的應該很少很少了,廢話不說了,結合官網和自己理解寫起。

 

官網 https://hadoop.apache.org/docs/r3.3.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html

 

簡單分析

一個mr作業通常資料會被切割成多個數據塊通過map任務來並行處理,就是說我們在處理檔案的時候,首次我們寫入檔案會被分割成多個塊,hdfs檔案設計支援的語義 write-once-read-more,block塊是128m預設 https://hadoop.apache.org/docs/r3.3.0/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html Data Blocks 位置。然後在我們讀取的時候也就是提交mr 作業後namenode會根據元資料管理然後從不同的datanode得知資料位置,從而進行讀取。mr框架包含一個單獨的master ResouceManager,每個叢集結點一個工作NodeManager,每個應用一個MRAppMaster。

Input 和output,接受《key,value》最後落地《key,value》形式,需要實現Writetable介面,還要實現WritebaleCompare介面因為要對比排序。

 

public class WordCount {

 

  public static class TokenizerMapper

       extends Mapper<Object, Text, Text, IntWritable>{

 

    private final static IntWritable one = new IntWritable(1);

    private Text word = new Text();

 

    public void map(Object key, Text value, Context context

                    ) throws IOException, InterruptedException {

      StringTokenizer itr = new StringTokenizer(value.toString());

      while (itr.hasMoreTokens()) {

        word.set(itr.nextToken());

        context.write(word, one);

      }

    }

  }

 

  public static class IntSumReducer

       extends Reducer<Text,IntWritable,Text,IntWritable> {

    private IntWritable result = new IntWritable();

 

    public void reduce(Text key, Iterable<IntWritable> values,

                       Context context

                       ) throws IOException, InterruptedException {

      int sum = 0;

      for (IntWritable val : values) {

        sum += val.get();

      }

      result.set(sum);

      context.write(key, result);

    }

  }

 

  public static void main(String[] args) throws Exception {

    Configuration conf = new Configuration();

    Job job = Job.getInstance(conf, "word count");

    job.setJarByClass(WordCount.class);

    job.setMapperClass(TokenizerMapper.class);

    job.setCombinerClass(IntSumReducer.class);

    job.setReducerClass(IntSumReducer.class);

    job.setOutputKeyClass(Text.class);

    job.setOutputValueClass(IntWritable.class);

    FileInputFormat.addInputPath(job, new Path(args[0]));

    FileOutputFormat.setOutputPath(job, new Path(args[1]));

    System.exit(job.waitForCompletion(true) ? 0 : 1);

  }

}

 

Mapper

 

我們會接受<key,value>對,hdfs生產map任務對每一個Inputsplit通過Inputformat在我們的作業中。

mapper設定通過Job.setMapperClass(Class) 方法,我們實現mapper介面對應就可以在map中寫內容了。如果向清理內容可以實現cleanUp方法。這個方法 備註  Called once at the end of the task.也就是說在task結束後會觸發一次。

 

輸出對並不一樣要跟輸入對型別保持一致,一個輸入對可能會產生一個或者多個輸出對。輸出通過context的write方法收集。

 

應用可以通過Counter 來上報統計,上下文中可以找到Counter counter = context.getCounter(MRJobConfig.JOB_NAME, MRJobConfig.JOB_NAME);

所有的結果通過key來進行發放傳遞給reduce然後落地結果。使用者也可以通過比較器來進行指定分組。

Job.setGroupingComparatorClass(Class).

mapper的輸出會分割槽到reduce中,然後數量與reduce的任務數量一致,也可以通過實現自定義Partitioner來進行分配。

 

combiner也是中間優化的一部分,通過ob.setCombinerClass(Class) 來設定combiner類,在傳送到reduce之前在減少數量從而提高效能。資料結果如何儲存什麼格式,可以通過設定壓縮形式來儲存通過配置。

 

多少個Mapper

mapper的個數通常是通過輸入檔案大小block數量來決定的。正常的並行度水平對於每個結點來看是10-100之間,離線跑hql指令碼一般設定過大會導致佔用資源過多,其他任務排隊情況導致任務從而延遲,或者浪費資源。例子:如果你的輸入檔案大小是10T,那麼hdfs預設塊是128M,那麼你就會有82,000個map數量,這個就需要通過配置檔案來設定map 的大小了。

 

Reducer

 

通過mapper處理完以後傳送到reduce端的對,reducer會對這些對再進行處理使得這個以key為分組的對集合更小。

Job.setNumReduceTasks(int) 設定recude個數Job.setReducerClass(Class) 設定reduce的執行類

reduce有三個階段:shuffle, sort and reduce.翻譯出來感覺不太好。

Shuffle

 

這個階段就是通過mapper的輸出結果資料進行一次分組partition

 

Sort

怎麼排序呢,就是mapper階段的task,輸出會是以key分組的,然後相同的key再進行merge 合併排序,在這個階段。

 

Secondary Sort

二次排序,可能使用者對於之前的key排序不滿了,希望再次修改進行重新排序分組那麼通過設定Job.setSortComparatorClass(Class).Job.setGroupingComparatorClass(Class)以達到目的。

 

Reduce

最後一個階段reduce,減少?這麼翻譯總感覺不夠精準那就直接叫reduce吧。以key分組到達一個reduce,拿到資料Context.write(WritableComparable, Writable)寫到檔案系統搞定完畢。reduce的輸出是沒有排序的。

 

多少個reduce

一個合理的數量應該是0.95或者是1.75 乘以 結點數量 * 每個結點最大的容量數。

0.95啟動更快,1.75負載更好。reduce數量多了對叢集是個開銷,但是對於提升成功率更好。因子小於整數的目的也是為了能夠留有餘地。

 

Reducer NONE

reducer設定為空的或者0都可以的。有些任務不要進行對map結果進行排序等操作,就可以直接寫入到檔案系統。FileOutputFormat.setOutputPath(Job, Path)

 

Partitioner

分割槽以key為主鍵,對map結果partiton,按照雜湊的函式方式,數量與reduce任務一樣。

https://hadoop.apache.org/docs/r3.3.0/api/org/apache/hadoop/mapreduce/lib/partition/HashPartitioner.html HashPartitioner是預設的雜湊分割槽方式。

Counter

一個統計工具,上文也說過了,可以通過上下文拿到。

 

 

Task Execution & Environment

 

任務的執行和環境,MRAppMaster執行 mr任務的時候 map 和reduce都是作為一個程序在一個分開的jvm中執行。

然後我們可以通過配置設定一些jvm的引數,堆疊大小,gc日誌,這些我們可以觀察到任務的執行情況等。

 

 

 

 

Job Submission and Monitoring

 

任務提交和監控說一下,步驟:

1、輸入輸出檢查

2、計算輸入檔案大小

3、設定分散式快取資訊如果有必要

4、然後就是上傳jar 和配置 到mr 的執行目錄下

5、提交到ResourceManager上然後監控它的狀態

 

Job.submit() : 作業提交到叢集立即返回.

Job.waitForCompletion(boolean) : 作業提交到叢集然後等待完成

 

 

  Memory Management Map Parameters Shuffle/Reduce Parameters Configured Parameters不介紹上了,主要是mr的執行原理說一下,剩下的可以通過開頭的mr連線瞭解到,官網這一篇還是有很多東西的,後面沒有說到的輸入輸出檔案類,split類,分散式快取,提交debug指令碼檢視日誌等等,大家都可以去看一下,最後是個wordcount案例應用了這些特點。

  看到的小夥伴有什麼工作機會可以跟我聯絡目前在考慮新機會,多謝!

 

            Growth depends on cyc