1. 程式人生 > >關於大型網站技術演進的思考(八)--儲存的瓶頸終篇(8)

關於大型網站技術演進的思考(八)--儲存的瓶頸終篇(8)

  在開始本篇主要內容前,我們一起看看下面的幾張截圖,首先是第一張圖,如下圖所示:

 

  這是一家電商網站的首頁,當我們第一次開啟這個首頁,網站會彈出一個強制性的對話方塊,讓使用者選擇貨物配送的地址,如果是淘寶和京東的話,那麼這個選擇配貨地址的選項是在商品裡,如下圖是淘寶的選擇配送地點:

 

  下圖是京東選擇配貨地點:

 

  那麼圖一跟京東和淘寶有什麼區別呢?圖一的電商強制使用者選擇地區後,那麼我們在查詢這個商品時候會因為地區不同,顯示的查詢結果會不一樣,這個就和網站做國際化有點像,不過網站國際化是切語言和語言相關的靜態資源,但是電商這個地域的選擇是和業務相關的,不同的地域查詢結果是不相同的,這個選擇地域的彈出框很像一個路由器。相比之下,淘寶和京東把商品的配送和商品相關,那麼我們在這些網站裡查詢商品時候,其實是按照全國查詢的,全國不同的地方查詢同一個條件所獲得到的結果是一致的。從業務角度而言,這說明第一個電商的業務沒有全國鋪開,就算是鋪開了,地域的差異也影響到物流的問題,而淘寶和京東則正是一個全國意義的大型電商網站了。

  回到技術的角度,這兩種不同的做法有沒有可能還和技術問題有關了?今天我就來探討下這個問題。

  不管網站大與小,一個網站肯定可以分為客戶端、服務端和儲存端,勾連這不同的組成部分是網路,網路是一種通訊設施,距離的遠近會直接影響到網路傳輸的效率問題,如是乎就出現了像CDN這樣的技術,很多大型網際網路公司還會在不同的城市建立機房,這些手段的目的就是在解決距離對網路傳輸效率的影響,但是當這種就近解決問題的方案落到儲存層的時候,問題就來了。上篇裡我說道web服務的水平擴充套件問題,這種水平擴充套件是基於一種無狀態性的原理設計的,但是到了儲存層我們不管怎麼拆分它,它都很難消除狀態的問題,也就是儲存層有狀態性是它的天然屬性。特別是碰到一個競爭性的儲存資源時候,這種狀態性會變得非常頑固,例如商品的庫存問題,如果我們把庫存資料對等的平移到不同地域的資料中心,那麼如何保證不同地方的庫存資訊總是準確的,這就成為了難題。這種問題放在一個小國家不是什麼問題,但是放到地大物博的中國那就很成問題了。所以儲存是這種就近方案的短板了。

  我曾瞭解到中國一家大型資訊企業在設計它們第一代系統時候,就考慮到了這種地域性差異對系統設計的影響,它們的第一代系統在儲存層這塊就設計成了一個雙核系統,什麼叫做儲存層的雙核系統了?它們的做法是在北京和上海分別建立兩個資料中心,系統的儲存層分別部署在北京的資料中心和上海的資料中心,兩個資料中心是等價的,那麼中國北部的交易就走北京資料中心,中國南部的交易就走上海的資料中心。但是系統上線後,發現這種雙核設計方案成為了整個系統的夢魘了,這個夢魘的最核心的問題就是資料的同步問題,因為該企業是一個全國性業務的企業,因此有大量交易需要南北資料中心同步完資料後才能正常完成,但是想從北京和上海同步資料的效率是異常的低效,我曾經看過一份資料,裡面說有機構做了一個測試,當兩個資料中心的距離超過了80公里,那麼網路的延遲性基本是無法忍受的,當然不差錢的企業可以專門鋪設專線來連線兩個資料中心,這種專線的成本高的嚇人,我曾聽人說就在上海,如果鋪專線從浦東到浦西,那麼這條專線基本是用人民幣鋪就的,更何況是從北京到上海鋪專線,就算企業不差這些錢延遲性也嚴重影響了企業業務的發展。除了延遲性外,通過網路大規模傳輸資料,資料的可靠性是很難保證的,也就是網路傳輸時候經常沒有道理的丟包,這就造成了很多重複性傳輸,使得同步資料的效率更加的低效。

  因為儲存層這種雙核設計缺陷,該企業馬上從事了二代系統的設計和開發,而這個二代系統核心業務就是解決這個儲存層的雙核問題。那到底該怎麼解決了?把雙核變成單核,既然兩個資料中心這麼麻煩,那我們就搞一個數據中心算了,既省錢有沒那麼多麻煩事情,這個肯定不是解決問題的正確思路了,雙核設計的出發點是非常有現實意義和價值的,最後該公司使用了一個新的方案替代雙核,這個方案稱之為主備方案,儲存層任然部署到兩個資料中心,到了業務執行階段,一個數據中心為主,一個數據中心為輔,不過這個主備方案絕不是通常意義的資料備份方案,他其實是吸收了單核和雙核方案的優點,同時儘量避免單核和雙核的缺點,那麼這點上這個主備方案是如何做到的呢?

  首先我們還是要把系統業務交易分下類,系統有些交易對於實時性啊,資料的正確性啊要求非常高,那麼這樣的業務場景使用單核儲存系統比較合適,一個業務系統不可能全是這樣的實時性交易,也有一些交易對實時性要求比較差,當然我們還是得要考察下這種交易對於延時容忍度,具體就是一般延時多久使用者是可以接受的,這點非常重要,因為就算是主備方案,那麼資料還是會有同步的操作,只不過這個同步的時間粒度上會更粗些,我們可以以系統和業務角度合理設定一個同步時間間隔,如果延時性交易的延時時間超過了這個間隔時間的話,那麼這樣的業務場景其實是可以就近處理的,沒有必要將這些請求都發送到主資料中心,這樣可以減輕主資料中心的執行壓力。該企業的二代資訊系統還有個要求就是過了每天的零點,前一天的資料必須在兩個資料中心完成同步,換句話說,兩個資料中心資料的差異性最大容忍度是天,為什麼要這樣做了?有的朋友看到了一定認為這是為了備份資料,的確這是目的之一,但這個做法還有更大的深意,雙核設計除了解決距離對網路效率的影響外,還有個重要的目的就是容災,我記得幾年前,有個朋友告訴我他們公司網站掛了6個小時,我當時很奇怪,我就問你們系統難道不是分散式嗎?他說他們線上系統沒有單點,那為什麼網站還會整個掛掉了?答案真的讓人不敢相信,因為他們的機房漏雨了,機房的線路短路了,那個朋友告訴我這件事情以後,他們公司又在附近租了個新機房做容災,防止此類事情再發生了。這種情況真的可以稱之為天災了,不過這樣的事情概率很低,可是一旦發生就會非常致命,記得日本爆發九級大地震的時候,我看到一個新網報道,報道里面有好多大型計算機倒掉了,而這個機房的機器的作用幾乎關係到亞洲網際網路系統的命脈,大家都知道每個網站都有自己的域名,域名是一個網站的入口,而日本那個機房放置的伺服器就是全球赫赫有名的13臺伺服器之一,專門用來解析域名的DNS伺服器,如果這些機器掛掉了,可能發生一整個國家都不能正常使用網際網路。但是天災畢竟是區域性的,因此全國甚至全球設立不同的資料中心用來容災是很多大型網際網路公司必須走的道路,回到本文的主備方案,為了保證資料中心的容災性,那麼我們再設計主備方案同時還要保證主備資料中心可以迅速切換,當一個數據中心出現問題時候可以馬上把輔助的資料中心轉化為主資料中心。為了保證這種切換的可靠性,該企業經常在晚上交易量小的時候,把主備來回切換跑跑。

  回到開篇提到的那三張截圖,那個一開始彈出地域選擇框的電商網站,當我們選擇不同的地域時候,查詢同樣的商品最後顯示的商品列表是不同,而京東雖然也有地域選擇,但是我們切換地域後查詢商品後結果基本沒有變化,至於淘寶和天貓壓根就沒有讓我們選擇地域的選項,配送都是在商品這邊進行選擇的。可能淘寶和天貓沒有自營業務,因此天貓很難控制裡面商家的地域區別,京東和前面哪家電商網站因為大部分是直營業務,因此配送地址和他們倉儲所在地是有關係的,其實這個做法衍生下的話,地域其實還可以做到資料中心的劃分,例如江滬浙用一個數據中心,中部地區用一個數據中心,那麼這種方式就可以幫助我們解決儲存層的就近問題,從這裡我們似乎也可以看出B2C和C2C的業務場景的一些區別。

  由此我可以做一個總結,首先儲存層做到對等多核的體系基本是不可能的,主備的方案可以解決單核和多核的缺點,同時可以發揚單核和多核的優點,距離的遠近也能產生業務的差異性,我們可以通過這種差異性把資料中心變成分散式,這樣還可以解決資料訪問的就近原則。

  美國的網際網路公司規模很大,他們從一開始就是全球化的,那麼對於美國的大型網際網路公司將資料中心分散化和本地化就變的非常重要,所以好的儲存層的分佈設計方案是完成網站全球佈局任務的基礎。但是對於很多中小企業,或者是剛剛創業的公司能在不同地域建立資料中心,或者不差錢但是能快速的建立不同地域的資料中心其實是非常難的事情,那麼這個時候我們找一家全球性的雲平臺例如亞馬遜的雲平臺,或者我們的業務就侷限在中國,使用個本土優秀的雲平臺也是一種不錯的選擇,雲端計算的推廣使得創業者的成本越來越低了。

  好了,本系列的文章到此為止,本系列都是在講資料庫的問題,我曾經說過任何程式或軟體都是計算和儲存的結合體,本系列著重講到的是儲存,時下很多大型網際網路公司在儲存這塊已經發生了很大的變化,在關係資料庫這塊都已經做到了去商業關係資料庫,而使用開源的關係資料庫,並將這些開源的關係資料進行了大規模的改造,這個做法應該算是網際網路領域關係資料庫發展的前沿了,同時將關係資料庫很難做到的事情用Nosql資料庫來替代也是一種大趨勢。

  本系列講述時候設定了一個很大的前提,那就是儘量保持關係資料庫儲存的本性,因此我將很多計算建議遷移到應用層,這個觀點我有很多理由說明它的好處,但是現實中是否是最好的方法,這個就要具體看了,因此我不想去苛求這麼做的合理性,但是邏輯上合理的方案總是會有很多借鑑意義的,這就是我想表達的,至於關於儲存層的計算我傾向於在資料訪問層裡做,因此按照我的思路,最終這個關係資料庫儲存層就會變成一個分散式資料庫,資料訪問層當然也是使用分散式系統原理來做,講解分散式系統也是本文章後續想討論,如果我有時間接著寫這個大系列部落格我會在分散式系統這塊繼續講解資料訪問層的設計問題。

  好了,文章寫完了,祝大家生活愉快。

相關推薦

關於大型網站技術演進思考--網站靜態化處理—反向代理10

  反向代理也是一種可以幫助實現網站靜態化的重要技術,今天我就來講講反向代理這個主題。那麼首先我們要了解下什麼是反向代理。和反向代理相對應的是正向代理,正向代理也就是我們常說的代理服務,正向代理是非常常見的,例如在某些公司裡我們想使用網際網路,那麼我們就得在瀏覽器裡設定一個代理伺服器,通過代理伺服器我們才能正

關於大型網站技術演進思考--儲存瓶頸8

  在開始本篇主要內容前,我們一起看看下面的幾張截圖,首先是第一張圖,如下圖所示:     這是一家電商網站的首頁,當我們第一次開啟這個首頁,網站會彈出一個強制性的對話方塊,讓使用者選擇貨物配送的地址,如果是淘寶和京東的話,那麼這個選擇配貨地址的選項是在商品裡,如下圖是淘寶的選擇配送地點:     下

關於大型網站技術演進思考儲存瓶頸8

在開始本篇主要內容前,我們一起看看下面的幾張截圖,首先是第一張圖,如下圖所示: 這是一家電商網站的首頁,當我們第一次開啟這個首頁,網站會彈出一個強制性的對話方塊,讓使用者選擇貨物配送的地址,如果是淘寶和京東的話,那麼這個選擇配貨地址的選項是在商品裡,如下圖是淘寶

關於大型網站技術演進思考--存儲的瓶頸5

做了 技術分享 表數 例子 執行 同時 設備 系統重啟 拆分 原引:http://www.cnblogs.com/sharpxiajun/p/4265853.html 上文裏我遺留了兩個問題,一個問題是數據庫做了水平拆分以後,如果我們對主鍵的設計采取一種均勻分布的策略,那麽

關於大型網站技術演進思考十四--網站靜態化處理—前後端分離—上6

  前文講到了CSI技術,這就說明網站靜態化技術的講述已經推進到了瀏覽器端了即真正到了web前端的範疇了,而時下web前端技術的前沿之一就是前後端分離技術了,那麼在這裡網站靜態化技術和前後端分離技術產生了交集,所以今天我將討論下前後端分離技術,前後端分離技術討論完後,下一篇文章我將會以網站靜態化技術的角度回過

關於大型網站技術演進思考--網站靜態化處理—動靜整合方案2

  上篇文章我簡要的介紹了下網站靜態化的演進過程,有朋友可能認為這些知識有點過於稀鬆平常了,而且網站靜態化的技術基點也不是那麼高深和難以理解,因此它和時下日新月異的web前端技術相比,就顯得不倫不類了。其實當我打算寫本系列的之前我個人覺得web前端有一個點是很多人都知道重要,但是有常常低估它作用的,那就是we

關於大型網站技術演進思考--儲存瓶頸2

  上篇裡我講到某些網站在高併發下會報出503錯誤,503錯誤的含義是指網站服務端暫時無法提供服務的含義,503還表達了網站服務端現在有問題但是以後可能會提供正常的服務,對http協議熟悉的人都知道,5開頭的響應碼錶達了服務端出現了問題,在我們開發測試時候最為常見的是500錯誤,500代表的含義是服務端程式出

關於大型網站技術演進思考十五--網站靜態化處理—前後端分離—中7

  上篇裡我講到了一種前後端分離方案,這套方案放到服務端開發人員面前比放在web前端開發人員面前或許得到的掌聲會更多,我想很多資深前端工程師看到這樣的技術方案可能會有種說不出來的矛盾心情,當我的工作逐漸走向越來越專業化的前端開發後,我就時常被這套前後端分離方案所困惑,最近我終於明白了這個困惑的本源在哪裡了,那

關於大型網站技術演進思考十七--網站靜態化處理—滿足靜態化的前後端分離9

  前後端分離的主題雖然講完了,但是前後端分離的內容並沒有結束,本篇將繼續前後端分離的問題,只不過這次前後端分離的講述將會圍繞著本系列的主題網站靜態化進行。在講本篇主題之前,我需要糾正一下前後端分離主題講述中會讓朋友們產生誤導的地方,這種誤導就是對時下流行的一些前後端分離方案(沒有使用nodejs的前後端分離

關於大型網站技術演進思考--網站靜態化處理--總述1

  在儲存瓶頸的開篇我提到像hao123這樣的導航網站只要它部署的web伺服器數量足夠,它可以承載超大規模的併發訪問量,如果是一個動態的網站,特別是使用到了資料庫的網站是很難做到通過增加web伺服器數量的方式來有效的增加網站併發訪問能力的。但是現實情況是像淘寶、京東這樣的大型動態網站在承擔高併發的情況下任然能

關於大型網站技術演進思考--儲存瓶頸6

  在講資料庫水平拆分時候,我列出了水平拆分資料庫需要解決的兩個難題,它們分別是主鍵的設計問題和單表查詢的問題,主鍵問題前文已經做了比較詳細的講述了,但是第二個問題我沒有講述,今天我將會講講如何解決資料表被水平拆分後的單表查詢問題。   要解決資料表被水平拆分後的單表查詢問題,我們首先要回到問題的源頭,我們

關於大型網站技術演進思考十六--網站靜態化處理—前後端分離—下8

  我第一次聽說nodejs技術大概是在2009年年末,不過我真正認真在網路上進一步瞭解nodejs還是在2010年年中,當時對nodejs的認識和我現在對nodejs的認識有著天壤的區別,開始想了解nodejs我只是為了感慨谷歌公司開發的V8引擎居然如此強大,它不僅僅可以作為chrome瀏覽器的javasc

關於大型網站技術演進思考十九--網站靜態化處理—web前端優化—上11

對於一個網路請求的處理,是由兩個不同型別的操作共同完成,這兩個操作是CPU的計算操作和IO操作,如果我們以處理效率角度來評判這兩個操作,CPU操作效率是光速的,而IO操作就不盡然了,計算機裡的IO操作就是對儲存資料介質的操作,計算機裡有如下幾個介質可以儲存資料,它們分別是:CPU的一級快取、二級快取、記憶

關於大型網站技術演進思考十一--網站靜態化處理—動靜分離策略3

  前文裡我講到了網站靜態化的關鍵點是動靜分離,動靜分離是讓動態網站裡的動態網頁根據一定規則把不變的資源和經常變的資源區分開來,動靜資源做好了拆分以後,我們就可以根據靜態資源的特點將其做快取操作,這就是網站靜態化處理的核心思路。由此可見,網站靜態化處理的核心就是動靜分離和快取兩大方面,上篇我簡單講述了動靜整合

關於大型網站技術演進思考--儲存瓶頸1

  前不久公司請來了位網際網路界的技術大牛跟我們做了一次大型網站架構的培訓,兩天12個小時資訊量非常大,知識的廣度和難度也非常大,培訓完後我很難完整理出全部聽到的知識,今天我換了個思路是回味這次培訓,這個思路就是通過本人目前的經驗和技術水平來思考下大型網站技術演進的過程。   首先我們要思考一個問題,什麼樣

關於大型網站技術演進思考--儲存瓶頸4

  如果資料庫需要進行水平拆分,這其實是一件很開心的事情,因為它代表公司的業務正在迅猛的增長,對於開發人員而言那就是有不盡的專案可以做,雖然會感覺很忙,但是人過的充實,心裡也踏實。   資料庫水平拆分簡單說來就是先將原資料庫裡的一張表在做垂直拆分出來放置在單獨的資料庫和單獨的表裡後更進一步的把本來是一個整體

關於大型網站技術演進思考--儲存瓶頸7

  本文開篇提個問題給大家,關係資料庫的瓶頸有哪些?我想有些朋友看到這個問題肯定會說出自己平時開發中碰到了一個跟資料庫有關的什麼什麼問題,然後如何解決的等等,這樣的答案沒問題,但是卻沒有代表性,如果出現了一個新的儲存瓶頸問題,你在那個場景的處理經驗可以套用在這個新問題上嗎?這個真的很難說。   其實不管什麼

關於大型網站技術演進思考--儲存瓶頸5

  上文裡我遺留了兩個問題,一個問題是資料庫做了水平拆分以後,如果我們對主鍵的設計採取一種均勻分佈的策略,那麼它對於被水平拆分出的表後續的查詢操作將有何種影響,第二個問題就是水平拆分的擴容問題。這兩個問題在深入下去,本系列就越來越技術化了,可能最終很多朋友讀完後還是沒有找到解決實際問題的啟迪,而且我覺得這些問

關於大型網站技術演進思考--儲存瓶頸3

  儲存的瓶頸寫到現在就要進入到深水區了,如果我們所做的網站已經到了做資料庫垂直拆分和水平拆分的階段,那麼此時我們所面臨的技術難度的挑戰也會大大增強。   這裡我們先回顧下資料庫的垂直拆分和水平拆分的定義:   垂直拆分:把一個數據庫中不同業務單元的資料分到不同的資料庫裡。   水平拆分:是根據一定的規

關於大型網站技術演進思考十三--網站靜態化處理—CSI5

  講完了SSI,ESI,下面就要講講CSI了 ,CSI是瀏覽器端的動靜整合方案,當我文章發表後有朋友就問我,CSI技術是不是就是通過ajax來載入資料啊,我當時的回答只是說你的理解有點片面,那麼到底什麼是CSI技術了?這個其實要和動靜資源整合的角度來定義。   CSI技術其實是在頁面進行動靜分離後,將頁面