從DB2到MySQL,袋鼠雲助力傳統金融平臺的網際網路轉型
前言:
袋鼠雲是國內領先的資料智慧踐行者。袋鼠雲的資料庫團隊核心成員來自淘寶,曾參與主導過阿里巴巴"去IOE"的架構演進,對大規模分散式資料庫架構設計與實踐有著豐富的經驗,曾服務過 特步、中航金網、國泰產險、東風裕隆、浙江智慧網路醫院、綠城資訊 等行業客戶,是阿里雲生態中資料庫技術領域的技術領先者。
專案背景:
某傳統金融平臺在23年的業務快速發展過程中,眾多IT系統垂直建設,不同系統之間存在複雜多樣的關聯性關係,核心業務系統既需要保證極高的可用性,又要為業務創新和發展做好技術架構準備,面臨著IT時代被IOE架構困擾已久的"穩定-創新"經典困局。
如何做好企業架構治理、為業務靈活創新做好技術基礎,提升應用開發速度、投入產出效率,降低運維難度,將嚴峻挑戰轉化為創新驅動力,完成從IT到DT成功進行數字化轉型呢?
為充分利用高併發、高靈活、高可用的網際網路平臺優勢,提升線上服務效能,該貨幣服務平臺選擇使用了阿里雲EDAS中介軟體、DRDS分散式資料庫、SQL/">MySQL服務。
在向網際網路級分散式架構轉型中,涉及到的資料庫架構設計和改造實施內容,該貨幣服務平臺通過阿里雲市場找到了--阿里雲生態合作伙伴袋鼠雲實施完成。
搭建過程:
該傳統金融平臺原先採用DB2,經過10多年的業務發展和資料沉澱,資料庫結構和表結構較為複雜,需要大量梳理。資料來源於上游系統,來源方式多樣,由中間庫、源庫、目標庫組成的資料擺渡鏈路較為冗長。
據瞭解,該傳統金融平臺每次功能變更都需要重新發布整個系統,系統耦合度高。
結合平臺龐大的業務體系,袋鼠雲和客戶決定對其資料庫進行先垂直後水平的拆分改造,後端資料庫技術架構如下:
難點一:如何進行資料庫拆分設計以適應滿足複雜業務需求?
由於該傳統金融平臺的業務體系過於龐雜,第一要務是對整個應用系統進行業務模組的梳理和拆解。在調研初期,袋鼠云為該平臺客戶梳理出三大垂直的業務系統,目的是進行應用的功能剝離及資料解耦,並以業務模組為基準,對其資料庫進行垂直拆分設計。
垂直拆分後,資料層在儲存以及效能方面已經做到隔離,但十多年的業務積累,導致部分業務表資料量已經超過數千萬條記錄。為了提高單表的查詢效能,以及解決單庫儲存容量問題,接下來需要基於DRDS對部分表進行水平拆分。在客戶現場,進行反覆調研及溝通,逐個分析各個業務的查詢場景以及資料儲存規律,和客戶共同制訂出針對大表的水平拆分方案,這個過程也稱之為"分庫分表"。
該傳統金融平臺的資料庫垂直拆分架構大致如下:
難點二:針對複雜業務邏輯,袋鼠云為其定製資料遷移程式
該傳統金融平臺隸屬於國家級金融機構。任何一條資料的不準確、延遲、丟失,都將影響中國金融市場的穩定和健康發展。
所以,這就要求在拆分遷移過程中,還要對接收到的來自不同上游的資料進行計算和準確性校驗。校驗的精細度要求是:每條資料都需要驗證,而且遷移過程是一次全量多次增量,資料遷移,資料驗證,資料又遷移,資料再驗證,如此迴圈往復,需要投入大量時間和人力。
針對該傳統金融平臺複雜的業務邏輯,以及對資料高完整性的需求,袋鼠云為客戶定製化遷移程式,進行DB2資料庫到DRDS的資料遷移工作。深入理解客戶的業務邏輯並完成資料重組,期間不斷聆聽客戶的業務需求,最終通過嚴格的多階段資料驗證考驗。資料遷移過程如下:
難點三:為滿足金融平臺的高效能要求,SQL優化、壓測、再優化,進行了8輪...
客戶平臺原採用的DB2資料庫,有很多複雜SQL,對資料庫帶來一定負擔。同時,還有資料庫儲存過程、檢視等高階功能的使用,SQL書寫不規範,表未建索引....大量的SQL需要袋鼠雲資料庫專家進行逐行稽核,並和客戶工作人員一起優化、壓測、再優化、再壓測、再再...,如此進行了8輪。除了常規的優化手段外,還需要對傳統應用進行改造,如拆解查詢、邏輯上拉至應用層、業務功能適度妥協等,最終完成對客戶不同場景下的查詢優化,最大程度提升了客戶系統的效能。
並且在後端的資料庫節點上,袋鼠雲資料庫團隊基於DRDS設計讀寫分離的架構,利用只讀例項分擔主庫的資料查詢壓力,配合EDAS的限流功能,避免了後端資料庫在業務高峰期的流量衝擊。
最後:
通過採用分散式資料庫架構,該傳統金融平臺全鏈路資料庫瓶頸得以解決,對資料解耦,縮短資料訪問鏈條長度,顯著提升了自身資料服務效能。
從DB2到MySQL、DRDS,該傳統金融平臺完成了自身網際網路轉型的一大步。
現袋鼠雲旗下產品均入駐 阿里雲企業服務第一平臺——雲市場 ,幫助更多的企業完成轉型第一步!目前袋鼠雲已服務雲市場近萬用戶群體,雲市場也為使用者提供"不滿意退款"、"全程擔保交易"、"軟體交付全程監管"、"6道關卡篩選優質商家與商品"等四個100%承諾,讓使用者消費無憂,這也是我們給予客戶的承諾。
進入袋鼠雲官方店鋪,尋找您所需要的商品。