1. 程式人生 > >從kafka往hbase寫資料時無法寫入的問題(region server中出現與master的預設hostname相同的regionserver節點)

從kafka往hbase寫資料時無法寫入的問題(region server中出現與master的預設hostname相同的regionserver節點)

        在通過flume將生產的日誌傳遞到kafka再通過kafka向hbase寫入資料的時候出現問題

在執行到flushCommits()

        這一步的時候程式卡著不動了,無法進行下一步執行

        檢查Master:16010發現region server這一項中有一個與伺服器初始使用者的hostname相同的主機version為unknown,但是在hbase的conf中配置的regionservers中並沒有配置localhost這一項 ,並且將master節點kill掉之後進入到backup-master節點中也出現了這種情況,backup-master的預設hostname為vm_centos*********   在列表中也出現了相同名稱的regionserver

        出現這種情況會導致劃分的regions會有一部分被放置在這一不存在的regionserver中去導致後續無法將資料flushcommit

        後經思考可能是因為公網ip與伺服器的繫結階段的問題,因為在之前配置zookeeper的時候出現過配置檔案中寫自己的ip會出現找不到主機的問題,因為esc例項的公網ip是獨立於伺服器的而不是在伺服器的網絡卡上面,所以伺服器無法通過自己的公網ip找到自己。猜測hbase出現這個問題可能是因為類似的原因

        故在hbase的配置檔案regionservers中將master和backup-master的資訊刪除掉暫時只留下一臺regionserver--->>huawei這一節點

        再次啟動進入master:16010中檢視region server這一項果然沒有出現之前的情況

        嘗試在程式碼中啟動程式後開始生產日誌發現控制檯成功的持續輸出,這說明向hbase中寫入資料成功

        遂進入hbase中scan'ns_ct:calllog'成功的查詢到資料