關於CDH5.11.0自帶kafka 0.10 bootstrap-server 無法消費
開始我使用shell下的zk方式是可以消費誤認為kafka也是沒有問題的,後來想了一下是否shell也可能使用api來訪問看下情況。
之後我使用bootstrap-server的方式在shell下進行測試,果然後些的樣例代碼一樣,無法消費。
之後就是無腦的百度,谷歌,但沒有得到解決方案。
之後我更改log4j 指定為debug出現如下錯誤:
DEBUG internals.AbstractCoordinator: Group coordinator lookup for group console-consumer-41941 failed: The coordinator is not available.
緊接著又是谷歌,資料也是很少。不過在這篇文章有人回復有可能該問題是0.10的一個死鎖導致。
文章:https://github.com/dpkp/kafka-python/issues/743
bug??好吧。然後我關閉了cdh的kafka 下載了當前0.10大版本的最新版0.10.2.2進行安裝,該版本無這樣的情況。
https://archive.cloudera.com/cdh5/cdh/5/
------------------------------分割線---------------------------
目前來看也就是說,如果我享用cdh的kafka 方便安裝管理,那麽我就只能代碼使用zk的方式去取數據,而不能使用原始的api的形式。相關的樣例代碼只有去spark 的demo文件裏邊找。(文件為:spark/examples/src/main/scala/org/apache/spark/examples/streaming/KafkaWordCount.scala ),若按照目前的spark 2.* 的官方文檔,則使用的全是api 的形式,那麽目前的cdh的kafka版本應該就不能繼續使用。特此記錄
關於CDH5.11.0自帶kafka 0.10 bootstrap-server 無法消費