1. 程式人生 > >大資料在金融領域的應用研究

大資料在金融領域的應用研究

摘 要  我國金融科技快速發展,在多個領域已經走在世界前列。大資料、人工智慧、雲端計算、移動網際網路等技術與金融業務深度融合,大大推動了我國金融業轉型升級,助力金融業更好地服務實體經濟,有效促進了普惠金融發展。在這一發展過程中,又以大資料技術發展最為成熟、應用最為廣泛。文章研究了大資料在金融領域應用的價值、特點、趨勢,充分證明了大資料應用的有效性和優越性,併為金融機構應用大資料提供瞭解決方案。

關鍵詞  金融;大資料;應用

1 金融大資料的興起

近年來,攝像頭、可穿戴裝置、GPS等感測器收集著大量音訊、視訊、影象等各類結構化和非結構化資料,隨著電子商務、社交、綜合資訊網站等網際網路應用的發展,資料基於網路大量產生並存儲,資訊量爆發式 增長。據IDC的研究顯示,全球資料總量年複合增長率 50%。這種增長速度意味著未來兩年,全球新增的資料 量將超過人類有史以來積累的資料總和。IDC預測,到 2020年,全球資料總量將達到40ZB(400億TB),代表 地球上每個人平均會產生5TB的資料[1]。

想學習的同學歡迎加入大資料學習扣群:805127855,有大量乾貨(零基礎以及進階的經典實戰)分享給大家,並且有清華大學畢業的資深大資料講師給大家免費授課,給大家分享目前國內最完整的大資料高階實戰實用學習流程體系

人類正從IT時代走向DT時代,資料是數字化時代的“石油”,大資料就是數字化時代的“冶煉工藝”。通過資料的收集、儲存、分析和視覺化技術,解決大資料海量、高速、多變、低密度的問題,使資料從散亂的資訊,變成知識和智慧,幫助組織解決發展中遇到的實際問題。

麥肯錫公司早在2011年就已經預見到大資料時代的到來,並提出:“各個行業和領域都已經被資料滲透了,目前資料已成為非常重要的生產因素。對於大資料的處理和挖掘將意味著新一波的生產率不斷增長和消費者盈餘浪潮的到來”[2]。人們已經意識到,通過資料給社會創造價值的能力和用資料盈利的能力將成為所有組織的核心競爭力。

縱觀金融行業的發展歷史,每次都是科技的創新推動著金融行業的發展與變革。電報技術、網際網路技術的推出都對金融機構的服務模式和風控方式產生了重大影響。最近幾年,各國政府都在不斷加大對科技創新的重視程度。科技創新的速度不斷加快,並逐步與金融業務深度融合,以大資料、雲端計算、人工智慧、區塊鏈等為代表的新技術已經逐漸成為金融發展的新動力。

普華永道調研顯示,在所有金融科技中,大資料是 金融行業投資和應用的首選[3]。首先,從內在需求看,在網際網路金融模式的衝擊下,整個金融業的運作模式正在重構,行業競爭日益激烈,基於資料的精細化運營需求日益迫切。其次,從應用基礎上看,金融行業擁有海量資料資源。金融業是最有意願進行資訊化投入的行業之一,經過多年的資訊沉澱,各系統內積累了大量高價值的資料,擁有用於資料分析的基礎資源。最後,從產品供應上看,大資料產品已經越來越成熟,技術供給越來越豐富,部署成本直線下降。此外,部分先行者為大資料部署提供了寶貴的應用案例,使得金融大資料解決方案越趨完善。

2 金融大資料的價值

2.1 提升決策效率

大資料分析可以幫助金融機構實現以事實為中心的經營方法。大資料可以幫助金融機構,以資料為基礎,逐步從靜態的現象分析和預測,過渡到針對場景提供動態化的決策建議,從而更加精準地對市場變化做出反應。

2.2 強化資料資產管理能力

金融機構大量使用傳統資料庫,成本較高,而且對於非結構化資料的儲存分析能力不足。通過大資料底層平臺建設,可以在部分場景替換傳統資料庫,並實現文字、圖片和視訊等更加多元化資料的儲存分析,有效提升金融結構資料資產管理能力。

2.3 實現精準營銷服務

在網際網路金融模式的衝擊下,整個金融業的運作模式面臨重構,行業競爭日益激烈,基於資料的精細化運營需求和產品創新需求日益迫切。大資料可以幫助金融機構更好的識別客戶需求,打造良好客戶體驗,提升綜合競爭力。

2.4 增強風控管理能力

大資料技術可以幫助金融機構將與客戶有關的資料資訊進行全量匯聚分析,識別可疑資訊和違規操作,強化對於風險的預判和防控能力,在使用更少的風控人員 的條件下,帶來更加高效可靠的風控管理[4]。

3 金融大資料的發展特點

3.1 金融雲快速落地奠定大資料應用基礎

金融雲具備的快速交付、高擴充套件、低運維成本等特性,能夠在充分考慮金融機構對資訊保安、監管合規、資料隔離和中立性等要求的情況下,為機構處理突發業務需求、部署業務快速上線、實現業務創新改革提供有力支援;因此,金融業一直較為積極地推動雲端計算的落地。

目前,大型金融機構紛紛開啟了基於雲端計算的資訊系統架構轉型之路,逐步將業務向雲端遷移。大型金融機構普遍青睞混合雲架構,將非核心應用遷移到公有云上,再將部分核心應用遷移到私有云平臺上,關鍵業務上繼續使用傳統的架構。新興金融機構如螞蟻金服、微眾銀行等在誕生之初就把所有的IT系統構建在雲上。

3.2 實時計算分析能力是金融大資料應用的首要關注點

金融機構的業務要求大資料平臺具有實時計算的能力。目前,金融機構最常使用的大資料應用場景如精準營銷、實時風控、交易預警和反欺詐等業務都需要實時計算的支撐。

以精準營銷和交易預警為例,精準營銷要求在客戶短暫的訪問與諮詢時間內發現客戶的投資傾向,推薦適合的產品。交易預警場景要求大資料平臺在秒級完成從事件發生到感知變化到輸出計算結果的整個過程,識別出客戶行為的異常,並做出交易預警;因此,流式計算框架的實時計算大資料平臺目前逐漸在金融機構得到應用,以滿足低延時的複雜應用場景需求。

3.3 金融業務創新越來越依賴於大資料應用分析能力

客戶對服務體驗的要求越來越高,需要金融機構隨時隨地都能提供服務,產品設計要更易用、更直觀,響應更快速。金融機構提供產品和服務的重點,也從簡單的標準化,轉變為個性化。

大資料能夠在產品設計和客戶服務兩方面提高創新能力。在產品設計上,大資料能夠更好的利用現有資料,為客戶進行全面的客戶畫像,識別客戶的需求。基於精準的客戶認知,金融機構可以細分客戶的需求,從而針對性的設計出符合客戶個性化需求的、場景化的產品。在客戶服務上,大資料可以提高產品的自動化程度,從而擴大產品和服務的範圍、拓寬客戶基礎,使得金融機構得以覆蓋以前服務不到的長尾客戶。此外,產品自動化還能夠快速的對客戶需求做出反應,提高客戶黏性。

4 金融大資料的發展趨勢

4.1 大資料應用水平正在成為金融企業競爭力的核心要素

金融的核心就是風控,風控以資料為導向。金融機構的風控水平直接影響壞賬率、營收和利潤。經過長期的數字化改造,金融機構積累了大量的資訊系統,通過這些系統積累了海量的資料,但是這些資料是分散在各個系統中,不能實現集中分析。金融機構已經意識到需要有效地管理其日益重要的資料資產,正在主動思考和實踐資料資產治理的方法。目前,金融機構正在加大在資料治理專案中的投入,結合大資料平臺建設專案,構建企業內統一的資料池,實現資料的“穿透式”管理。大資料時代,資料治理是金融機構需要深入思考的命題,有效的資料資產管控,可以使資料資產成為金融機構的核心競爭力。

在國內,金融機構對大資料的認知已經從探索階 段進入到了認同階段。普華永道研究顯示,83%的中 國金融機構表示希望在大資料上進行投資[3]。金融行業對大資料的需求屬於業務驅動型。其迫切希望應用大資料技術使得營銷更加精準、風險識別更加準確、經營決策更具針對性、產品更具吸引力,從而降低企業經營成本,提高企業利潤。隨著更多金融機構基於大資料獲得豐厚的回報,將進一步打消它們的顧慮,加速大資料的普及。

4.2 金融行業資料整合、共享和開放成為趨勢

資料越關聯越有價值,越開放越有價值。隨著各國政府和企業逐漸認識到資料共享帶來的社會效益和商業價值,全球已經掀起一股資料開放的熱潮。大資料的發展需要所有組織和個人的共同協作,將個人私有、企業自有、政府自有的資料進行整合,把私有大資料變為公共大資料。

目前,美歐等發達國家和地區的政府都在資料共享上做出了表率,開放大量的公共事業資料。中國政府也著力推動資料開放。一方面,國家帶頭著力推動政府資料公開。國務院《促進大資料發展行動綱要》提出: 到2018年,中央政府層面實現金稅、金關、金財、金審、金盾、金巨集、金保、金土、金農、金水、金質等資訊系統通過統一平臺進行資料共享和交換。另一方面,國家還通過推動建設各類大資料服務交易平臺,為資料 使用者提供更豐富的資料來源[5]。在發改委釋出的《國家發展改革委辦公廳關於請組織申報大資料領域創新能力建設專項的通知》中明確提到要建設大資料流通與交 易平臺,用以支撐資料共享[6]。
想學習的同學歡迎加入大資料學習扣群:805127855,有大量乾貨(零基礎以及進階的經典實戰)分享給大家,並且有清華大學畢業的資深大資料講師給大家免費授課,給大家分享目前國內最完整的大資料高階實戰實用學習流程體系

4.3 金融資料與其他跨領域資料的融合應用不斷強化

2015年以前,金融機構主要基於金融行業自有資訊進行分析。金融機構主要基於自身靜態資料,通過人工對內進行經營分析、產品設計、營銷設計等,對外進 行客戶分析和行情分析。從2016年開始,大資料技術逐漸成熟,資料採集技術快速發展,通過影象識別、語音識別、語義理解等技術實現外部海量高價值資料收集,包括政府公開資料、企業官網資料、社交資料。金融機構得以通過客戶動態資料的獲取從而更深入的瞭解客戶。

未來,資料流通的市場會更健全。金融機構將可以方便地獲取電信、電商、醫療、出行、教育等其他行業的資料,一方面會有力的促進金融資料和其他行業資料融合,使得金融機構的營銷和風控模型更精準。另一方面,跨行業資料融合會催生出跨行業的應用,使金融行業得以設計出更多的基於場景的金融產品,與其他行業進行更深入的融合。

4.4 人工智慧正在成為金融大資料應用的新方向

新興技術高速發展,大資料和人工智慧技術正在快速地融合。大資料技術強調對資料的採集、儲存、處理和展現。人工智慧可以在各個階段助力大資料發揮出更大的作用。

在採集上,影象識別、語音識別、語義理解等人工智慧認知技術實現海量非結構化資料採集。在資料的儲存和管理上,人工智慧技術可以實現自動為資料打標籤,自動將資料歸類。在資料處理上,人工智慧深度學習、機器學習、知識圖譜技術可以提高演算法模型的資料處理的效率和準確度。資料展現上,智慧視覺化大屏技術可以實現資料實時監控和視覺化呈現。大資料與人工智慧正在進行多維度的深度融合,拓展了金融大資料的應用價值和應用場景。

4.5 金融資料安全問題越來越受到重視

大資料的應用為資料安全帶來新的風險。資料具有高價值、無限複製、可流動等特性,這些特性為資料安全管理帶來了新的挑戰。

對金融機構來說,網路惡意攻擊成倍增長,組織資料被竊的事件層出不窮。這對金融機構的資料安全管理能力提出了更高的要求。大資料使得金融機構內海量的高價值資料得到集中,並使資料實現高速存取。但是,如果出現資訊洩露可能一次性洩露組織內近乎全部的資料資產。資料洩露後還可能急速擴散,甚至出現更加嚴重的資料篡改和智慧欺詐的情況。

對個人來說,金融資訊的洩露會暴露出大量的個人基本資訊和消費資訊等,大資料技術可以便捷地大批量收集這些資訊並進行畫像,這使得公民更容易受到欺詐,造成經濟損失。

5 金融大資料應用面臨的挑戰

5.1 金融行業的資料資產管理應用水平仍待提高

金融行業的資料資產管理仍存在資料質量不足、資料獲取方式單一、資料系統分散等一系列問題。一是金融資料質量不足,主要體現為資料缺失、資料重複、資料錯誤和資料格式不統一等多個方面。二是金融行業資料來源相對單一,對於外部資料的引入和應用仍需加強。三是金融行業的資料標準化程度低,分散在多個數據系統中,現有的資料採集和應用分析能力難以滿足當前大規模的資料分析要求,資料應用需求的響應速度仍不足。

5.2 金融大資料應用技術與業務探索仍需突破

金融機構原有的資料系統架構相對複雜,涉及的系統平臺和供應商相對較多,實現大資料應用的技術改造難度較大,而且系統改造的同時必須保障業務系統的安全可靠執行。同時,金融行業的大資料分析應用模型仍處於探索階段,成熟案例和解決方案仍相對較少,金融機構應用大資料需要投入大量的時間和成本進行調研和試錯,一定程度上制約了金融機構大資料應用的積極性。而且,目前的應用實踐反映出大資料分析的誤判率還比較高,機器判斷後的結果仍需要人工核查,資源利用效率和客戶體驗均有待提升。

5.3 金融大資料的行業標準與安全規範仍待完善

當前,金融大資料的相關標準仍處於探索期,金融大資料缺乏統一的儲存管理標準和互通共享平臺,涉及金融行業大資料的安全規範還存在較多空白。相對於其他行業而言,金融大資料涉及更多的使用者個人隱私,在使用者資料安全和資訊保護方面要求更加嚴格。隨著大資料在多個金融行業細分領域的價值應用,在缺乏行業統一安全標準和規範的情況下,單純依靠金融機構自身管控,會帶來較大的安全風險。

5.4 金融大資料發展的頂層設計和扶持政策還需強化

在發展規劃方面,金融大資料發展的頂層設計仍需強化。一方面,金融機構間的資料壁壘仍較為明顯,資料應用仍是各自為戰,缺乏有效的整合協同,跨領域和跨企業的資料應用相對較少。另一方面,金融行業資料應用缺乏整體性規劃,當前仍存在較多分散性、臨時性和應急性的資料應用,資料資產的應用價值沒有得到充分發揮,業務支撐作用仍待加強,迫切需要通過行業整體性的產業規劃和扶持政策,明確發展重點,加強方向引導。

6 促進金融大資料發展應用的相關建議

6.1 出臺促進金融大資料發展的產業規劃和扶持政策

建議針對產業發展需求和政策空白領域,出臺促進金融行業大資料發展應用的指導性政策意見,明確產業發展的目標、方向、路徑和要求,完善產業發展的配套保障體系和發展能力評估建設體系。指導和支援金融大資料在產業標準、安全和商業化等多個領域的相關研究。逐步加快釋出和形成金融大資料產業應用標準體系和行業規範,以標準促進產業合作,創造更加良好的產業發展環境,增強產業界發展積極性。

6.2 分階段推動金融資料開放、共享和統一平臺建設

針對金融機構資料分散和隔離的問題,建議監管機構牽頭,分階段推進金融行業安全可控的資料開放共享。首先從制定統一資料目錄,明確最低開放標準著手,逐步鼓勵金融機構創新合作模式,搭建金融行業統一資料平臺,克服跨組織資料流通的障礙。未來可鼓勵金融機構探索混合所有制,建立獨立運營主體,負責金融行業大資料的統一管理和運營,開展跨行業、跨領域應用合作,促進金融大資料在社會經濟各領域價值的實現。

6.3 強化金融大資料行業標準和安全規範建設

建議組織金融行業的各方主體,協同制定統一的金融行業大資料交易規範,逐步明確交易各方的資料安全責任,保障金融大資料市場的健康以及有序發展;制定明確的資料安全使用標準,對金融大資料的使用許可權、使用範圍、使用方式以及安全機制等,應進行嚴格的規範化、標準化管理;建立有效的投訴機制和懲罰機制,實施全程全網的資料安全使用管控與源頭追訴。
想學習的同學歡迎加入大資料學習扣群:805127855,有大量乾貨(零基礎以及進階的經典實戰)分享給大家,並且有清華大學畢業的資深大資料講師給大家免費授課,給大家分享目前國內最完整的大資料高階實戰實用學習流程體系

6.4 依託行業平臺推進金融大資料應用成果共享合作

積極發揮以行業組織的平臺作用,打造具有品牌影響力的金融大資料交流分享平臺,建立金融大資料行業的長效溝通機制,促進金融大資料應用成果的經驗分享和互動交流。同時,積極推動金融行業和電信、電商、旅遊等跨行業的溝通和合作,通過專題活動宣傳和推廣,展示金融大資料在各個行業領域的應用成果,增加金融大資料應用的社會關注度。