Hadoop學習3-Macbook環境在IDEA中編寫MapReduce程式

新建一個Maven專案

不用說了，普通的Maven專案就行。

加入Hadoop依賴

其中的${hadoop.version}對應自己使用的Hadoop版本

• hadoop-client

<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client -->
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>${hadoop.version}</version>
</dependency>
 

• log4j

<!-- https://mvnrepository.com/artifact/log4j/log4j -->
<dependency>
    <groupId>log4j</groupId>
    <artifactId>log4j</artifactId>
    <version>1.2.17</version>
</dependency>

log4j的配置檔案放到resources下面，名為log4j.properties。

log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d{ABSOLUTE} | %-5.5p | %-16.16t | %-32.32c{1} | %-32.32C %4L | %m%n
 

• 要想使Maven打成的jar包，可以直接拿到namenode上用hadoop jar 命令跑，需要在Maven中加一個外掛

<build>
    <plugins>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-shade-plugin</artifactId>
            <version>1.2.1</version>
            <executions>
                <execution>
                    <phase>package</phase>
                    <goals>
                        <goal>shade</goal>
                    </goals>
                    <configuration>
                        <transformers>
                            <transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                                <!--程式入口類，main方法類-->
                               <mainClass>com.caohui.hadoop.mapreduce.Main</mainClass>
                            </transformer>
                        </transformers>
                    </configuration>
                </execution>
            </executions>
        </plugin>
    </plugins>
</build>
 

加入hadoop配置檔案

將namenode下面的hadoop的以下幾個配置檔案拷貝到resources中，一個都不能少，否則會報錯。

• core-site.xml
• hdfs-site.xml
• mapred-site.xml
• yarn-site.xml

編寫測試MapReduce程式

測試程式非常簡單，如下檔案price.txt

北京 1
北京 2
北京 1
北京 2
北京 1
北京 2
北京 1
北京 2
北京 1
北京 2
北京 1
北京 2
杭州 1
杭州 2
杭州 1
杭州 2
杭州 1
杭州 2
杭州 1

統計這個檔案中北京的數字之和和杭州的數字之和。

• HousePriceMapper.java

package com.caohui.hadoop.mapreduce;

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

public class HousePriceMapper extends Mapper<LongWritable, Text, Text, Text> {
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        String item = value.toString();
        String[] items = item.split(" ");
        if (items.length >= 2) {
            context.write(new Text(items[0]), new Text(items[1]));
        }
    }
}

• HousePriceReducer.java

package com.caohui.hadoop.mapreduce;

import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

public class HousePriceReducer extends Reducer<Text, Text, Text, Text> {
    @Override
    protected void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {
        int sum = 0;
        for (Text i : values) {
            sum += Integer.parseInt(i.toString());
        }
        context.write(key, new Text(String.valueOf(sum)));
    }
}

• Main.java

package com.caohui.hadoop.mapreduce;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;


public class Main {
    public static void main(String[] args) throws Exception {
        Configuration configuration = new Configuration(true);
        Job job = Job.getInstance(configuration, "House Price");

        // 為了在本地跑mapReduce程式方便，這裡job.setJar要設定成Maven打包的路徑
        job.setJar("./target/hadoop-1.0-SNAPSHOT.jar");

        // 放到nameNode下執行時要把上面一句改成下面這句！！不然找不到target資料夾，會報錯。
        //job.setJarByClass(Main.class);

        job.setMapperClass(HousePriceMapper.class);
        job.setReducerClass(HousePriceReducer.class);

        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(Text.class);

        FileInputFormat.addInputPath(job, new Path("hdfs://namenode:9000/price.txt"));
        FileOutputFormat.setOutputPath(job, new Path("hdfs://namenode:9000/output"));

        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

開啟完全分散式hadoop

start-all.sh

本地打包-執行

先用maven將專案打包，打的包在target下面。然後執行main函式。等一小會兒，執行成功。

執行結果：

北京 18
杭州 12