1. 程式人生 > >《淘寶技術這十年》閱讀,總結其中談到的技術(一)

《淘寶技術這十年》閱讀,總結其中談到的技術(一)

1.淘寶雙11活動,大量併發,提到 hadoop分散式計算叢集,分佈於全國各地的CDN網路(13年80多個節點),支援流量>800Gbps

2.大量的日誌 TB級,通過高程度壓縮(1:120),進行傳送,給後臺進行使用者分析,(日誌包括使用者訂單交易的快照等)

3.淘寶產生,開始是LAMP(linux+Apache+MySQL+PHP),隨著PV的上升,採用IOE,IBM小型機+Oracle資料庫+EMC儲存,伴隨使用者體量的日益增長和業務的不斷髮展,技術亦需要進行發展,隨之php--java的遷移,分散式平臺的誕生。

4.大量短連結,處於連線池工具(SQL Relay)的使用,資料體量變大後,購買NAS(Network Attached Storage);

5.支付寶的誕生,交易過程的安全性,擔保交易出現,一開始叫”安全交易“,隨著使用安全交易後,訂單增加,賣家選擇這項服務就增多,後續則成為必選,支付寶的前身

6.邀請sun公司,更換開發語言,MVC框架+EJB(控制層)+ibatis(持久層),後續程式設計MVC+spring+ibatis

7.商品詳情分表,詳情頁資訊太多,對常用資料進行分類分表,後續商品詳情直接修改為檔案,存放在TFS檔案系統,提到了Block儲存、raid5(便宜的冗餘儲存)、ext3檔案系統存放資料檔案、data Server 運載在一臺普通linux,TFS叢集規模一直在提升,隨機IOPS900+,實時縮圖的生成;檔案定位,記憶體用hash演算法索引,一次讀盤;寫盤,Append方式

8.快照功能的靈活使用,對商品的交易生成快照,不過儲存成本上升;

9.Nginx,http伺服器,特點:程式碼清晰、模組化、效能高;

10.失敗的產品,”我的淘寶“,介面UI體驗差,最終被取消,用到AJAX、prototpye;

11.”招財進寶“,類似百度的競價排名,購買廣告位,可以查看出了多少錢,信用、成交量、被收藏數量,很好的電商服務平臺盈利模式,被收費抵制失敗後,最後以淘寶直通車的形式復活;隨著淘寶體量上升和話語權的上升,終於在後面強力推出天貓從淘寶分離的行動,空前強硬且成功,為整個電商行業進步加速,現在亞馬遜基本還是以前淘寶的無分級模式(假貨橫行),從而奠定了我國電商領先世界的基石;使用者行為跟蹤和AJAX被提到;

12.TBstore快取誕生,TBstore分散式演算法,根據key進行Hash演算法,對Hash值與總Cache伺服器資料取模,再通過取模後的值,找到伺服器列表中下表為此值得Cache伺服器。通過Java Client API封裝實現;

13.TBstore 儲存基於Berkeley DB,弱點:Berkeley DB在資料量>記憶體後,即往硬碟寫資料,快取效能此時大幅下降。

14.UIC(user information center)誕生,應用系統訪問UIC,獲取高達幾十億的使用者資訊,必須用到快取,不能直接查詢資料庫,TDBM誕生,參考了memcached記憶體結構

15.TDBM、TBstore的合併,key-value快取系統---tair(taobao pair),Tair包括快取和持久化兩種儲存功能。Tair為分散式系統,由中心控制節點(config server)+一系列服務節點(data server)組成,

16.iSearch搜尋引擎,從每份資料1份變成每份資料多分,從單行變成矩陣,訪問容量更大,可用性更高;