1. 程式人生 > >深入理解分布式系統中的緩存架構(下)

深入理解分布式系統中的緩存架構(下)

cache color 分布式緩存 51cto red http 不可 傳統 process

承接上一篇《理解分布式系統中的緩存架構(上)》,介紹了大型分布式系統中緩存的相關理論,常見的緩存組件以及應用場景,本文主要介紹緩存架構設計常見問題以及解決方案,業界案例。

1 分層緩存架構設計
技術分享圖片
技術分享圖片
2 緩存帶來的復雜度問題

常見的問題主要包括

數據一致性

緩存穿透

緩存雪崩

緩存高可用

緩存熱點 下面逐一介紹分析這些問題以及相應的解決方案。

數據一致性

因為緩存屬於持久化數據的一個副本,因此不可避免的會出現數據不一致問題。導致臟讀或讀不到數據的情況。數據不一致,一般是因為網絡不穩定或節點故障導致

問題出現的常見3個場景以及解決方案:
技術分享圖片
緩存穿透

緩存一般是Key,value方式存在,當某一個Key不存在時會查詢數據庫,假如這個Key,一直不存在,則會頻繁的請求數據庫,對數據庫造成訪問壓力。

主要解決方案:

對結果為空的數據也進行緩存,當此key有數據後,清理緩存

一定不存在的key,采用布隆過濾器,建立一個大的Bitmap中,查詢時通過該bitmap過濾

緩存雪崩
技術分享圖片
緩存高可用

緩存是否高可用,需要根據實際的場景而定,並不是所有業務都要求緩存高可用,需要結合具體業務,具體情況進行方案設計,例如臨界點是是否對後端的數據庫造成影響。

主要解決方案:

分布式:實現數據的海量緩存

復制:實現緩存數據節點的高可用

緩存熱點

一些特別熱點的數據,高並發訪問同一份緩存數據,導致緩存服務器壓力過大。

解決:復制多份緩存副本,把請求分散到多個緩存服務器上,減輕緩存熱點導致的單臺緩存服務器壓力

3 業界案例

案例主要參考新浪微博陳波的技術分享

技術挑戰
技術分享圖片
Feed緩存架構圖
技術分享圖片
架構特點

新浪微博把SSD應用在分布式緩存場景中,將傳統的Redis/MC + Mysql方式,擴展為 Redis/MC + SSD Cache + Mysql方式,SSD Cache作為L2緩存使用,第一降低了MC/Redis成本過高,容量小的問題,也解決了穿透DB帶來的數據庫訪問壓力

歡迎工作一到五年的Java工程師朋友們加入Java架構開發:744677563

本群提供免費的學習指導 架構資料 以及免費的解答

不懂得問題都可以在本群提出來 之後還會有職業生涯規劃以及面試指導

主要在數據架構、性能、儲存成本、服務化等不同方面進行了優化增強

技術分享圖片
技術分享圖片

深入理解分布式系統中的緩存架構(下)