1、簡介

1.1、Kafka Consumer提供了2種API：high level與low level（SimpleConsumer）。
（1）high level consumer的API較為簡單，不需要關心offset、partition、broker等資訊，kafka會自動讀取zookeeper中該consumer group的last offset。
（2）low level consumer也叫SimpleConsumer，這個介面非常複雜，需要自己寫程式碼去實現對offset、partition、broker以及broker的切換，能不用就不用，那何時必須用？

1、Read a message multiple times
2、Consume only a subset of the partitions in a topic in a process
3、Manage transactions to make sure a message is processed once and only once
 

2、Flink的開發準備

Flink提供了high level的API來消費kafka的資料：flink-connector-kafka-0.8_2.10。注意，這裡的0.8代表的是kafka的版本，你可以通過maven來匯入kafka的依賴，具體如下：

例如你的kafka安裝版本是“kafka_2.10-0.8.2.1”,即此版本是由scala2.10編寫，kafka的自身版本是0.8.2.1.那此時你需要新增如下的內容到maven的pom.xml檔案中：

<dependency>
        <groupId>org.apache.flink</groupId
 
>
        <artifactId>flink-connector-kafka-0.8_2.10</artifactId>
        <version>${flink.version}</version>
</dependency>

注意：
$${flink.version}是個變數，自己調整下程式碼，例如可以直接寫1.0.0。我的專案裡採用的是添加了properties來控制${flink.version}：

<properties>
        <project.build.sourceEncoding
 
>UTF-8</project.build.sourceEncoding>
        <flink.version>1.0.0</flink.version>
</properties>

3、叢集環境準備

這裡主要是介紹下Flink叢集與kafka叢集的搭建。
基礎的軟體安裝包括JDK、scala、hadoop、zookeeper、kafka以及flink就不介紹了，直接看下flink的叢集配置以及kafka的叢集配置。
zookeeper–3.4.6
hadoop–2.6.0
kafka–2.10-0.8.2.1
flink–1.0.3

3.1、Flink叢集配置（standalone且沒有用zookeeper的HA）

3.1.1、環境變數
新增FLINK_HOME以及path的內容：

export FLINK_HOME=/usr/local/flink/flink-1.0.3
export PATH=.:${JAVA_HOME}/bin:${SCALA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${ZOOKEEPER_HOME}/bin:${KAFKA_HOME}/bin:${FLINK_HOME}/bin:$PATH
export CLASS_PATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

3.1.2、修改conf/flink-conf.yaml

這幾乎是最簡單的配置方式了，主要注意要修改jobmanager.rpc.address為叢集中jobManager的IP或hostname。檢查點以及HA的引數都沒有配置。

3.1.3、slaves檔案

這個檔案中存放的資訊是taskmanager的hostname。

3.1.4、複製flink目錄以及.bashrc檔案到叢集中其他的機器，並使bashrc生效

root@master:/usr/local/flink# scp -r flink-1.0.3/ root@worker1:/usr/local/flink/
root@master:/usr/local/flink# scp -r flink-1.0.3/ root@worker2:/usr/local/flink/

root@master:/usr/local/flink# scp ~/.bashrc root@worker1:~/.bashrc 
root@master:/usr/local/flink# scp ~/.bashrc root@worker2:~/.bashrc 

root@worker1:~# source ~/.bashrc 
root@worker2:~# source ~/.bashrc 

3.2、kafka叢集配置

3.2.1、環境變數
省略

3.2.2、配置config/zookeeper.properties
由於kafka叢集依賴於zookeeper叢集，所以kafka提供了通過kafka去啟動zookeeper叢集的功能，當然也可以手動去啟動zookeeper的叢集而不通過kafka去啟動zookeeper的叢集。

注意這裡的dataDir最好不要指定/tmp目錄下，因為機器重啟會刪除此目錄下的檔案。且指定的新路徑必須存在。

3.2.3、配置config/server.properties
這個檔案是啟動kafka叢集需要指定的配置檔案，注意2點：

# The id of the broker. This must be set to a unique integer for each broker.
broker.id=0

############################# Socket Server Settings #############################

# The port the socket server listens on
#port=9092
listeners=PLAINTEXT://:9092

broker.id在kafka叢集的每臺機器上都不一樣，我這裡3臺叢集分別是0、1、2.

############################# Zookeeper #############################

# Zookeeper connection string (see zookeeper docs for details).
# This is a comma separated host:port pairs, each corresponding to a zk
# server. e.g. "127.0.0.1:3000,127.0.0.1:3001,127.0.0.1:3002".
# You can also append an optional chroot string to the urls to specify the
# root directory for all kafka znodes.
zookeeper.connect=master:2181,worker1:2181,worker2:2181

# Timeout in ms for connecting to zookeeper
zookeeper.connection.timeout.ms=6000

zookeeper.connect要配置kafka叢集所依賴的zookeeper叢集的資訊，hostname:port。

3.2.4、複製kafka路徑及環境變數到其他kafka叢集的機器，並修改server.properties中的broker_id.
複製過程省略

3.3、啟動kafka叢集+Flink叢集

3.3.1、首先啟動zookeeper叢集（3臺zookeeper機器都要啟動）：

root@master:/usr/local/zookeeper/zookeeper-3.4.6/bin# zkServer.sh start
root@worker1:/usr/local/zookeeper/zookeeper-3.4.6/bin# zkServer.sh start
root@worker2:/usr/local/zookeeper/zookeeper-3.4.6/bin# zkServer.sh start

驗證zookeeper叢集：
程序是否啟動；zookeeper叢集中是否可以正常顯示leader以及follower。

root@master:/usr/local/zookeeper/zookeeper-3.4.6/bin# jps
3295 QuorumPeerMain

root@master:/usr/local/zookeeper/zookeeper-3.4.6/bin# zkServer.sh status
JMX enabled by default
Using config: /usr/local/zookeeper/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: follower
root@master:/usr/local/zookeeper/zookeeper-3.4.6/bin#

root@worker1:/usr/local/zookeeper/zookeeper-3.4.6/bin# zkServer.sh status
JMX enabled by default
Using config: /usr/local/zookeeper/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: follower
root@worker1:/usr/local/zookeeper/zookeeper-3.4.6/bin# 

root@worker2:/usr/local/zookeeper/zookeeper-3.4.6/bin# zkServer.sh status
JMX enabled by default
Using config: /usr/local/zookeeper/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: leader
root@worker2:/usr/local/zookeeper/zookeeper-3.4.6/bin# 

3.3.2、啟動kafka叢集（3臺都要啟動）

root@master:/usr/local/kafka/kafka_2.10-0.8.2.1/bin# kafka-server-start.sh ../config/server.properties &

root@worker1:/usr/local/kafka/kafka_2.10-0.8.2.1/bin# kafka-server-start.sh ../config/server.properties &

root@worker2:/usr/local/kafka/kafka_2.10-0.8.2.1/bin# kafka-server-start.sh ../config/server.properties &

驗證：
程序；日誌

3512 Kafka

3.3.3、啟動hdfs（master上啟動即可）

root@master:/usr/local/hadoop/hadoop-2.6.0/sbin# start-dfs.sh 

驗證：程序及webUI

root@master:/usr/local/hadoop/hadoop-2.6.0/sbin# jps
3798 NameNode
4007 SecondaryNameNode

root@worker1:/usr/local/hadoop/hadoop-2.6.0/sbin# jps
3843 DataNode

root@worker2:/usr/local/hadoop/hadoop-2.6.0/sbin# jps
3802 DataNode

webUI：50070，預設可配置

3.3.4、啟動Flink叢集（master即可）

root@master:/usr/local/flink/flink-1.0.3/bin# start-cluster.sh 

驗證：程序及WebUI

root@master:/usr/local/flink/flink-1.0.3/bin# jps
4411 JobManager

root@worker1:/usr/local/flink/flink-1.0.3/bin# jps
4151 TaskManager

root@worker2:/usr/local/flink/flink-1.0.3/bin# jps
4110 TaskManager

WebUI：8081（預設，可配置）

4、編寫Flink程式，實現consume kafka的資料（demo）

4.1、程式碼
這裡就是簡單的實現接收kafka的資料，要指定zookeeper以及kafka的叢集配置，並指定topic的名字。
最後將consume的資料直接打印出來。

import java.util.Properties

import org.apache.flink.streaming.api.{CheckpointingMode, TimeCharacteristic}
import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer08
import org.apache.flink.streaming.util.serialization.SimpleStringSchema
import org.apache.flink.streaming.api.scala._

/**
  * 用Flink消費kafka
  */
object ReadingFromKafka {

  private val ZOOKEEPER_HOST = "master:2181,worker1:2181,worker2:2181"
  private val KAFKA_BROKER = "master:9092,worker1:9092,worker2:9092"
  private val TRANSACTION_GROUP = "transaction"

  def main(args : Array[String]){
    val env = StreamExecutionEnvironment.getExecutionEnvironment
    env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime)
    env.enableCheckpointing(1000)
    env.getCheckpointConfig.setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE)

    // configure Kafka consumer
    val kafkaProps = new Properties()
    kafkaProps.setProperty("zookeeper.connect", ZOOKEEPER_HOST)
    kafkaProps.setProperty("bootstrap.servers", KAFKA_BROKER)
    kafkaProps.setProperty("group.id", TRANSACTION_GROUP)

    //topicd的名字是new，schema預設使用SimpleStringSchema()即可
    val transaction = env
      .addSource(
        new FlinkKafkaConsumer08[String]("new", new SimpleStringSchema(), kafkaProps)
      )

    transaction.print()

    env.execute()

  }

}

4.2、打包：

mvn clean package

看到成功標誌，否則會提示error的地方。

4.3、釋出到叢集

root@master:/usr/local/flink/flink-1.0.3/bin# flink run -c wikiedits.ReadingFromKafka /root/Documents/wiki-edits-0.1.jar 

驗證：程序及WebUI

root@master:/usr/local/flink/flink-1.0.3/bin# jps
6080 CliFrontend

5、kafka produce資料，驗證flink是否正常消費

5.1、通過kafka console produce資料
之前已經在kafka中建立了名字為new的topic，因此直接produce new的資料：

root@master:/usr/local/kafka/kafka_2.10-0.8.2.1/bin# kafka-console-producer.sh --broker-list master:9092,worker1:9092,worker2:9092 --topic new

生產資料：

5.2、檢視flink的標準輸出中，是否已經消費了這部分資料：

root@worker2:/usr/local/flink/flink-1.0.3/log# ls -l | grep out
-rw-r--r-- 1 root root   254  6月 29 09:37 flink-root-taskmanager-0-worker2.out
root@worker2:/usr/local/flink/flink-1.0.3/log# 

我們在worker2的log中發現已經有了資料，下面看看內容：

OK，沒問題，flink正常消費了資料。

6、總結

kafka作為一個訊息系統，本身具有高吞吐、低延時、持久化、分散式等特點，其topic可以指定replication以及partitions，使得可靠性和效能都可以很好的保證。
Kafka+Flink的架構，可以使flink只需關注計算本身。