在系統平穩執行一年的基礎上，為提供更好的服務，現針對java，kafka，flume，zk,統一進行版本升級，請各位小夥伴跟著走起來，不要掉隊啊！

jdk,zookeeper,flume:

這兩個中介軟體平滑升級，沒有特殊的地方，參考其他部落格就好

kafka:

這個的變化還是很大的，咱們詳細說來

1，zk的作用

offsets,這個值，標記kafka消費到哪了，以前由zk維護，但是，遇到併發比較大的情況，zk的資料出現錯誤的機率變大，目前版本交由kafka本身維護，kafka本身建立了一個topic解決這個問題，topic：__consumer_offsets，在最新的版本，zk的作用僅僅在維護叢集主從關係上了，作用降低。

2，消費端變化

消費端的配置，發生了變化，和flume 1.6有些區別，但是1.7的版本還是對這些做了適配，基本配置不用變化。

3，監控的變化

以前的監控是基於zk的，目前已經不滿足與最新的kafka，監控中介軟體升級為kafkamanager，將最新版本的zip包下載到伺服器，解壓，並配置就可使用,配置如下：

# Copyright 2015 Yahoo Inc. Licensed under the Apache License, Version 2.0
# See accompanying LICENSE file.

# This is the main configuration file for the application.
# ~~~~~

# Secret key
# ~~~~~
# The secret key is used to secure cryptographics functions.
# If you deploy your application to several instances be sure to use the same key!
 

play.crypto.secret="^<csmm5Fx4d=r2HEX8pelM3iBkFVv?k[mc;IZE<_Qoq8EkX_/[email protected]"
play.crypto.secret=${?APPLICATION_SECRET}

# The application languages
# ~~~~~
play.i18n.langs=["en"]

play.http.requestHandler = "play.http.DefaultHttpRequestHandler"
play.http.context = "/"
play.application.loader=loader.KafkaManagerLoader

kafka-manager.zkhosts="10.1.115.181:2181,10.1.114.221:2181,10.1.114.231:2181/kafka"
# kafka-manager.zkhosts=${?ZK_HOSTS}
pinned-dispatcher.type="PinnedDispatcher"
pinned-dispatcher.executor="thread-pool-executor"
application.features=["KMClusterManagerFeature","KMTopicManagerFeature","KMPreferredReplicaElectionFeature","KMReassignPartitionsFeature"]

akka {
  loggers = ["akka.event.slf4j.Slf4jLogger"]
  loglevel = "INFO"
}


basicAuthentication.enabled=true
basicAuthentication.username="admin"
basicAuthentication.password="admin"
basicAuthentication.realm="Kafka-Manager"
basicAuthentication.excluded=["/api/health"] # ping the health of your instance without authentification

如果出現jdk的問題，可以通過指定路徑的方式解決：

#!/usr/bin/env bash
###  ------------------------------- ###
###  Helper methods for BASH scripts ###
###  ------------------------------- ###
JAVA_HOME="/Data/servers/jdk8"

die() {
  echo "[email protected]" 1>&2
  exit 1
}

監控介面如下：

總結：

在本次升級中，主要是為了增加flume與kafka的併發，因為資料的問題，對es並未進行升級，但是在以後中，我們還是會對es進行升級，做資料平移，或者做雙資料來源，因為日誌最多存過30天，這樣的方案，還是非常容易的，請大家繼續關注後續的部落格。