1. 程式人生 > >巨杉數據庫:金融級數據庫未來方向

巨杉數據庫:金融級數據庫未來方向

數據庫

引言
近年來,全球金融科技每年的投入已經超過500億美元,中國的金融科技發展更是引領世界潮流。在金融科技不斷發展的今天,中國金融互聯網化和零售化的發展愈加激烈,使得我國金融業務與科技的有機結合應用模式備受世界矚目。

對應著高速發展的業務模式與創新,現代金融系統亟需技術架構的革新來滿足日益增長的業務需求。這其中包括了業務系統敏捷性、風險控制、成本控制、性能和業務發展對應的彈性增長能力。在信息化時代的今天,數據庫承載著金融企業的核心數據。作為新技術架構的樞紐,金融級數據庫是現代金融系統轉型與革新的基礎。

2017年,在國際著名的技術和市場分析機構Gartner的“2017年數據庫報告”請添加鏈接描述中,中國的三家數據庫廠商有史以來第一次入選報告,分別是阿裏雲數據庫,巨杉數據庫SequoiaDB以及南大通用Gbase數據庫。三款數據庫都是完全中國團隊自研,雖然應用場景不完全相同,但都在金融行業擁有不錯的應用案例,可以說十分符合“金融級”的要求。而這也標誌著在數據庫領域,中國廠商的力量已經逐漸崛起,標誌著在開源領域之外的基礎軟件領域,中國廠商也已經逐漸登上了國際知名的舞臺。

同樣2017年底,Gartner與巨杉數據庫聯合發布了《金融級數據庫的未來發展方向請添加鏈接描述》報告,報告闡述了金融行業對於數據庫的未來需求以及金融級的數據庫未來的發展方向。

本文我們也將看看“金融級”數據庫的未來發展方向。

金融級數據庫發展
長期以來,金融級數據庫市場被Oracle、IBM DB2、Microsoft SQLServer等傳統關系型數據庫所壟斷。在經歷了幾十年的發展與叠代後,傳統關系型數據庫已經無法適應新型金融科技發展的需要。因此,由新型分布式數據庫替代傳統架構,成為金融級數據庫市場的主流趨勢。

在過去的幾十年中,受限於傳統數據庫的存儲與計算能力,企業中不同業務部門之間的數據往往以獨立的方式分別存放。而伴隨著金融科技新型業務的不斷發展,跨部門、跨業務的數據訪問成為企業的核心需求。但是,各業務系統獨立存放的數據往往形成一個個“數據孤島”,使得企業內部的數據管理面臨極大的挑戰。

新型分布式數據庫的出現旨在打破傳統數據管理的體系,將跨業務、多類型的數據進行統一的管理與維護,從數據的層面將企業內部的各個部門與業務線融會貫通。
?
為了實現這個目標,新型金融級數據庫需要在分布式架構、多模式數據管理、標準化數據訪問、數據可靠性、與混合負載等幾個角度對傳統數據庫架構進行重新定義。

分布式架構
伴隨著金融科技的互聯網化,傳統數據庫架構已經無法承載爆炸性增長的海量數據。同時,互聯網渠道的大規模引入,使得金融科技應用對數據庫的並發能力與性能產生新的需求。

由於傳統數據庫的單點架構無法滿足新型金融科技應用對數據量與並發能力的需求,新一代金融級數據庫必須采用分布式架構來應對該類挑戰。

在傳統數據庫架構中,企業必須通過不斷增強單一硬件設備處理性能的方式,來提升數據庫的存儲與處理能力。但是,在信息爆炸的今天,硬件性能的提升遠遠落後於數據量的增長。因此新型數據庫采用分布式架構,將海量數據均勻存儲在多臺物理設備中,以避免單一設備所造成的瓶頸。

同時,分布式數據庫的靈活擴展能力,為金融業務增長提供了彈性的容量與性能支持,在大規模數據應用中具有明顯的技術優勢。

此外,使用PC服務器或雲環境,新型分布式數據庫在保障安全可靠的前提下,能夠有效降低TCO,提升開發與運維效率。

多模式數據管理
如今,在金融業務“互聯網化”和“零售化”的趨勢下,金融機構開始向用戶提供更多個性化、定制化的產品與服務。同時,伴隨著各個業務系統自身復雜性的提升,系統之間的關聯性也在不斷增強。因此,應用系統對數據的存儲管理提出了新的標準和要求。

一直以來,傳統關系型數據庫僅支持表單類型的結構化數據存儲和訪問能力,而對於層次型對象、圖片影像等半結構化與非結構化數據管理無能為力。
為了實現金融業務數據的統一管理和數據融合,新型數據庫需要具備多模式(Multi-Model)數據管理和存儲的能力,以滿足應用程序對於結構化、半結構化、非結構化數據的管理需求。

通常來說,結構化數據特指表單類型的數據存儲結構,典型應用包括銀行核心交易等傳統業務;而半結構化數據則在用戶畫像、物聯網設備日誌采集、應用點擊流分析等場景中得到大規模使用;非結構化數據則對應著海量的的圖片、視頻、和文檔處理等業務,在金融科技的發展下增長迅速。

多模式數據管理能力,使得金融級數據庫能夠進行跨部門、跨業務的數據統一存儲與管理,實現多業務數據融合,支撐多樣化的金融服務。

標準化數據訪問
隨著多業務、多模式數據的統一與融合,不斷增強的業務多樣性、復雜性使得數據訪問方式面臨了新的挑戰。

在傳統數據庫中,SQL幾乎是數據庫唯一的訪問方式。而隨著業務多樣化的發展,非結構化和半結構化數據在金融科技應用的比重不斷增大。因此,新型分布式數據庫除了需要對結構化數據提供標準SQL語言的支持,還需要針對半結構化、非結構化數據提供如JSON、對象存儲管理等訪問能力。

標準化數據訪問能力既滿足了多類型數據管理的需求,也為企業有效提升了開發與運維的效率。因此,金融級數據庫作為新金融科技架構的樞紐,需要為應用程序提供標準化的數據訪問能力。

數據安全
伴隨著在企業內部價值的不斷提升,數據已經成為了金融企業的生命線與核心資產。作為承載著企業關鍵數據的數據庫,其安全性、可靠性、穩定性一直是金融級數據庫的核心價值。

同時,無論在中國還是海外,金融行業的數據安全已經成為了監管機構的首要要求。例如,銀行核心系統安全一直是我國銀監會所關註的重點,大部分銀行數據中心早已具備高可用與“兩地三中心”的能力。

但是,在分布式架構中完美實現高可用與容災面臨著諸多技術挑戰。一般來說,以統計分析為目標的分布式數據庫相對弱化了該部分的功能,而面向在線與交易業務的分布式數據庫則對數據安全保持了高標準的嚴格要求。

例如,數據容災與雙活是金融企業數據安全的最後保障。容災要求數據在多個中心進行實時互備,一旦數據中心發生重大災難,所有在線生產業務可以及時切換中心繼續運行。而雙活則是在容災的基礎上,讓主備數據中心同時承擔生產業務,充分利用雙活能力提升業務性能,進一步減少災難發生時的宕機時間。

混合負載
伴隨著業務多樣化與數據大融合,不同的業務對於數據管理的功能要求也不盡相同。由於傳統數據庫的數據存儲與訪問方式單一,用戶通常將應用分為在線業務與離線業務兩類。

在線業務一般表示如銀行核心交易系統等面向最終用戶的業務系統。通常來說,這類系統需要滿足高並發、低延時、高可靠等特性。而與之對應的離線業務則專註於批處理作業。一般這類業務具有高吞吐量、低並發、高延時等特征。

隨著金融科技業務的不斷發展與融合,各業務條線對於數據的需求也不再完全獨立。在該趨勢下,金融級數據庫需要同時支持在線業務與離線業務的混合負載。

根據Gartner的最新定義,混合負載(HTAP Hybrid Transactional/Analytical Processing)在保留原有在線交易功能的同時,也強調了數據庫原生計算分析的能力。支持混合負載的數據庫能夠避免在傳統架構中,在線與離線數據庫之間大量的數據交互,同時也能夠針對最新的業務數據進行實時統計分析。

為了避免在線實時讀寫與批處理作業之間的資源幹擾,混合負載型數據庫通常使用讀寫分離或內存處理技術實現。一般來說,分布式數據庫的多副本架構天然支持讀寫分離技術,而基於傳統架構的數據庫往往采用內存處理技術進行實現。

結語:關於中國金融級數據庫發展
長久以來,金融行業在全部企業級IT投入中一直占據50%以上。在幾十年業務發展與強監管的要求下,金融機構普遍對數據庫的安全性、可靠性、穩定性有著全行業最為嚴苛的要求。因此,滿足金融行業需求的金融級數據庫產品已經成為全部行業中的標桿。

與此同時,中國的商業銀行的用戶數量也一直保持世界前列。隨著中國經濟快速發展以及普惠金融、交易銀行等業務和政策的推廣,中國的商業銀行業務也在向“互聯網”、“零售化”不斷轉型。這使得銀行與最終用戶距離更貼近、交互頻率更多、業務場景更多樣。這些新需求促使中國的金融和銀行業技術轉型不斷加速,並在多種技術與業務模式上走在世界前列。

另一方面,數據庫產品的發展成熟周期漫長。一般來說,一個在金融行業大規模使用的數據庫產品,需要在技術、產品、工程、售後支持以及行業經驗上具有相當長時間的積累才能慢慢走向成熟。

此外,不同於應用軟件,作為基礎軟件的通用數據庫產品要在各類客戶中滿足各種業務需求,而不僅僅只為單一特定的場景服務。這要求數據庫廠商牢牢掌握產品核心代碼以及發展方向,從而能夠在快速應對客戶各類需求的同時,保證高度的產品化與標準化。同時,金融級數據庫產品所面對的銀行、證券、保險等頭部行業對產品的質量與穩定性要求極高,這使得用戶對金融級數據庫在產品上的復雜度與成熟度又提出了更高層次的要求。

在這樣的背景下,巨杉數據庫作為我國自主研發的金融級數據庫產品,其技術方向領先、應用場景多樣、並且在金融企業中得以大規模應用。因此,巨杉數據庫的不斷蓬勃發展也得到了國際業界的矚目和認可。

巨杉數據庫:金融級數據庫未來方向