使用Atlas進行元資料管理之容錯和高可用
1. 介紹 Apache Atlas使用各種系統並與之互動,為資料管理員提供元資料管理和資料血緣資訊。通過適當地選擇和配置這些依賴關係,可以使用Atlas實現高度的服務可用性。本文件介紹了Atlas中的高可
1. 介紹 Apache Atlas使用各種系統並與之互動,為資料管理員提供元資料管理和資料血緣資訊。通過適當地選擇和配置這些依賴關係,可以使用Atlas實現高度的服務可用性。本文件介紹了Atlas中的高可
本套技術專欄是作者(秦凱新)平時工作的總結和昇華,通過從真實商業環境抽取案例進行總結和分享,並給出商業應用的調優建議和叢集環境容量規劃等內容,請持續關注本套部落格。期待加入IOT時代最具戰鬥力的團隊。QQ郵箱地
容器時代越來越多的傳統應用將會逐漸容器化,而日誌又是應用的一個關鍵環節,那麼在應用容器化過程中,如何方便快捷高效地來自動發現和採集應用的日誌,如何與日誌儲存系統協同來高效儲存和搜尋應用日誌。本文將主要跟大家分
本套技術專欄是作者(秦凱新)平時工作的總結和昇華,通過從真實商業環境抽取案例進行總結和分享,並給出商業應用的調優建議和叢集環境容量規劃等內容,請持續關注本套部落格。期待加入IOT時代最具戰鬥力的團隊。QQ郵箱地
Twitter系統的實時性質為Twitter工程團隊帶來了獨特而具有挑戰性的問題。我們需要快速釋出突發新聞,向用戶提供相關廣告,並解決許多其他實時用例。Twitter的Pub / Sub系統為Twitter團隊
Spring Security OAuth 2.3.3, 2.2.2, 2.1.2, 2.0.15 釋出 Spring Security OAuth 2.3.3, 2.
這篇部落格文章展示瞭如何配置Spring Kafka和Spring Boot以使用JSON傳送訊息並以多種格式接收它們:JSON,純字串或位元組陣列。基於此配置,您還可以將Kafka生成器從傳送JSON切換到其
1. 現象 由於種種原因,kafka程序宕機了一段時間(比如可能是被人為kill了)。然後在某個時間點嘗試啟動kafka的時候,發現啟動失敗,程序起不起來,檢視日誌,發現日誌報錯OOM,類似如下
現代的網際網路分散式系統,只要稍微大一些,就一定逃不開3類中介軟體:遠端呼叫(RPC)框架、訊息佇列、資料庫訪問中介軟體。Kafka 是訊息佇列中介軟體的代表產品,用 Scala 語言實現,本文采用的是 Kaf
一、為什麼需要訊息系統 1.解耦: 允許你獨立的擴充套件或修改兩邊的處理過程,只要確保它們遵守同樣的介面約束。 2.冗餘: 訊息佇列把資料進行持久化直到它們已經被完全處理,通過這一方
時間輪 Kafka中存在大量的延遲操作,比如延遲生產,延遲拉取,延遲加入,延遲心跳等。kafka使用時間輪(TimingWheel)來來實現管理延遲任務和超時時完成延遲任務。 時間輪(Tim
以下內容部分翻譯至 http://kafka.apache.org/intro kafka介紹 我們認為,一個流處理平臺具有三個關鍵能力: 釋出和訂閱訊息(流),在
版權宣告:本套技術專欄是作者(秦凱新)平時工作的總結和昇華,通過從真實商業環境抽取案例進行總結和分享,並給出商業應用的調優建議和叢集環境容量規劃等內容,請持續關注本套部落格。版權宣告:禁止轉載,歡迎學習。QQ郵
版權宣告:本套技術專欄是作者(秦凱新)平時工作的總結和昇華,通過從真實商業環境抽取案例進行總結和分享,並給出商業應用的調優建議和叢集環境容量規劃等內容,請持續關注本套部落格。版權宣告:禁止轉載,歡迎學習。QQ郵
一套日誌管理系統實現 written by Alex Stocks on 2018/11/25,版權所有,無授權不得轉載 0 前述 前一篇博文 一套實時監控告警系統實現 中提到 一個擺脫了手工作坊