1. 程式人生 > >1分鐘帶你玩轉Kafka

1分鐘帶你玩轉Kafka

Kafka 分布式 消息服務

說起Kafka,許多使用者對它是又愛又恨。Kafka是一種分布式的、基於發布/訂閱的消息系統,其極致體驗讓人欲罷不能,但操心的運維、復雜的安全策略、可靠性易用性的缺失、算不上極致的性能發揮、並不豐富的消息服務功能,仍需要使用者付出諸多的背後工作。即使你是Kafka老手,也難免會有上述同樣的煩惱。

與其整日操心Kafka的部署,不如試試雲上Kafka帶給你的驚喜?目前國內主流的雲服務廠商均提供了雲上的Kafka服務,為應用系統提供異步的消息隊列服務。通過高可用的消息緩沖隊列,實現應用解耦、突發流量處理及與第三方的互通和集成,具有大規模、高可靠、高並發訪問、可擴展且完全托管的特點。比如分布式消息服務DMS,幫助雲端的應用程序組件去耦合,具有很高的成本效益。DMS擁抱開源,提供支持兼容開源Kafka接口,用戶可無縫遷移,按需使用。

DMS優勢

全面兼容Kafka 提升效率

兼容開源

業務系統基於開源的Kafka進行開發,只需加入少量認證安全配置,即可使用DMS的Kafka隊列,做到無縫遷移。

消息互通

支持消息多通道,DMS接口可對Kafka隊列進行消息收發,也可用開源Kafka client進行消息收發。

安全保證

華為獨有的安全加固體系,提供業務操作可回溯,消息存儲加密及租戶間有效隔離等有效安全措施。

高可靠及可用無憂運維

數據高可靠

消息持久化,多副本存儲。

服務高可用

後臺多集群部署,支持故障自動遷移和容錯,保證用戶關鍵業務的可靠運行。

無憂運維

提供一整套完整的監控告警等運維服務,故障自動發現和告警,避免7*24小時人工值守。

核心特性

細粒度靈活控制

DMS支持RBAC(基於角色訪問控制)和PBAC(基於策略訪問控制)兩種訪問控制模式,從而提供更加安全靈活的訪問策略。可以實現消息隊列粒度和API調用動作的安全策略訪問控制,結合華為雲的IAM服務,可以滿足用戶幾乎所有對消息服務使用的安全要求。

多協議的訪問

DMS提供多種協議接入方式,包括1)HTTP 符合REST規範標準的接入,支持多種語言接入使用,並支持雲內及雲外訪問。2)基於TCP的簡單SDK方式,提供更加高性能的訪問接口;另外,還提供兼容開源Kafka的開放接口,能夠更好地幫助用戶把使用Kafka的應用快速上雲。

分布式可靠集群和海量隊列能力

內建的分布式集群技術,使得服務具有高度擴展性;無限擴展的隊列數量和可擴展的高性能機制,保證在高並發、高性能和大規模場景下的訪問能力,輕松實現百億級消息的堆積和訪問能力。內建消息冗余存儲,保證消息存儲的可靠性,有效避免服務節點故障。

死信管理

死信是在消費環節為用戶提供一種不能正常處理消息時的可選方案,防止因個別消息不正常導致後續消息都不能被消費,造成業務阻塞。DMS為用戶提供可視化死信開關和參數配置,並提供API接口。在不開啟死信隊列功能時,對於確認失敗或超時的消息,系統會進行回滾並重投遞。無論是否開啟死信功能,DMS服務都會保證消息不丟失。

自定義消息功能

DMS除提供消息隊列的核心功能外,還提供額外的增強能力,為用戶提供高收益、低成本的極具性價比的消息服務。消息消費重置允許用戶設置任一可消費的時間點控制向前或向後消費進度,提高消費的靈活性;基於消息標簽的消息過濾可實現選擇性地消費包含指定標簽的消息;支持消息屬性,每條消息上都可以設置不同的屬性。

無憂運維

消息服務是雲原生服務,整個消息服務的運維對用戶透明。用戶無需關心後臺運維情況,只需關註自身涉及的消息隊列指標,支持對入隊消息數、請求數、已經消費的消息數、消息堆積數量等情況的監控,並支持配置告警規則,用戶可以在第一時間通過短信、郵件等獲得業務消息隊列的運行使用和負載狀態。

適用場景

業務解耦

將業務中依賴其他系統同時屬於非核心或不重要的部分使用消息服務,無需同步等待其他系統的處理結果。如電商網站獲取用戶訂單後,信息放入消息隊列,會從隊列裏讀取出庫、發貨任務信息然後執行。

最終一致性

用於兩個系統的狀態最終保持一致,或都成功或都失敗。如用於交易系統的高可靠數據傳遞,實現跨系統的事務最終一致,降低實現難度和成本;如預定門票及軟件打車。

錯峰流控

上下遊系統處理能力有差異時,可以使用消息服務轉儲系統之間的通信數據,提供消息堆積緩沖能力,在下遊系統有能力處理消息的時候再處理,減少擁塞、系統崩潰等問題,提高系統的可用性,降低復雜性。如高峰時段的註冊、搶購、預約等。

日誌同步

應用通過可靠異步方式將日誌消息同步到消息服務,再通過其他組件對日誌做實時或離線分析,也可用於關鍵日誌信息收集,進行應用監控。如註冊時用戶填寫的個人信息等。

現階段DMS免費使用喔!一分鐘玩轉Kafka,就是這麽簡單~

1分鐘帶你玩轉Kafka