1. 程式人生 > >關於CDH5.11.0自帶kafka 0.10 bootstrap-server 無法消費

關於CDH5.11.0自帶kafka 0.10 bootstrap-server 無法消費

出現 指定 pre hit tst apache 10.2.2 來看 min

近日需要在項目用到kafka,然後本地使用cdh集成的kafka 進行安裝調試,以及些樣例代碼,sparkstreaming 相關調用kafka 的代碼使用的原始的api 而沒有走zookeeper,雖然消費者能啟動,但無法消費內容。

開始我使用shell下的zk方式是可以消費誤認為kafka也是沒有問題的,後來想了一下是否shell也可能使用api來訪問看下情況。

之後我使用bootstrap-server的方式在shell下進行測試,果然後些的樣例代碼一樣,無法消費。

之後就是無腦的百度,谷歌,但沒有得到解決方案。

之後我更改log4j 指定為debug出現如下錯誤:

DEBUG internals.AbstractCoordinator: Group coordinator lookup for group console-consumer-41941 failed: The coordinator is not available.

緊接著又是谷歌,資料也是很少。不過在這篇文章有人回復有可能該問題是0.10的一個死鎖導致。

文章:https://github.com/dpkp/kafka-python/issues/743

bug??好吧。然後我關閉了cdh的kafka 下載了當前0.10大版本的最新版0.10.2.2進行安裝,該版本無這樣的情況。

本來想看下cdh目前的最新版的集成的kafka版本可惜沒找到:

https://archive.cloudera.com/cdh5/cdh/5/

------------------------------分割線---------------------------

目前來看也就是說,如果我享用cdh的kafka 方便安裝管理,那麽我就只能代碼使用zk的方式去取數據,而不能使用原始的api的形式。相關的樣例代碼只有去spark 的demo文件裏邊找。(文件為:spark/examples/src/main/scala/org/apache/spark/examples/streaming/KafkaWordCount.scala ),若按照目前的spark 2.* 的官方文檔,則使用的全是api 的形式,那麽目前的cdh的kafka版本應該就不能繼續使用。特此記錄

關於CDH5.11.0自帶kafka 0.10 bootstrap-server 無法消費