1. 概述

近年來，隨著大資料、雲端計算、區塊鏈、人工智慧等新技術的快速發展，這些新技術與金融業務深度融合，釋放出了金融創新活力和應用潛能，這大大推動了我國金融業轉型升級，助力金融更好地服務實體經濟，有效促進了金融業整體發展。在這一發展過程中，又以大資料技術發展最為成熟、應用最為廣泛。從發展特點和趨勢來看，“金融雲”快速建設落地奠定了金融大資料的應用基礎，金融資料與其他跨領域資料的融合應用不斷強化，人工智慧正在成為金融大資料應用的新方向，金融行業資料的整合、共享和開放正在成為趨勢，給金融行業帶來了新的發展機遇和巨大的發展動力。

大資料涉及的行業過於廣泛，除金融外，還包括政治、教育、傳媒、醫學、商業、工業、農業、網際網路等多個方面。根據國際知名諮詢公司麥肯錫的報告顯示：在大資料應用綜合價值潛力方面，資訊科技、金融保險、政府及批發貿易四大行業潛力最高高。具體到行業內每家公司的資料量來看，資訊、金融保險、計算機及電子裝置、公用事業四類的資料量最大。可以看出，無論是投資規模和應用潛力，資訊行業（網際網路和電信）和金融行業都是大資料應用的重點行業。

大資料的特點可歸納為“4V”。

• 資料量(Volume)， 海量性也許是與大資料最相關的特徵。
• 多樣性(Variety)，大資料既包括以事務為代表的傳統結構化資料，還包括以網頁為代表的半結構化資料和以視訊、語音資訊為代表的非結構化資料。
• 資料價值(Value)，大資料的體量巨大，但資料中的價值密度卻很低。比如幾個小時甚至幾天的監控視訊中，有價值的線索或許只有幾秒鐘。
• 動態性(Velocity)，大資料要求能夠快速處理資料，時效性強，要進行實時或準實時的處理。

金融行業一直較為重視大資料技術的發展。相比常規商業分析手段，大資料可以使業務決策具有前瞻性， 讓企業戰略的制定過程更加理性化，實現生產資源優化分配，依據市場變化迅速調整業務策略，提高使用者體驗以及資金週轉率，降低庫存積壓的風險，從而獲取更高的價值和利潤。

2. 大資料技術在金融行業中的典型應用

大資料技術在金融行業中有著廣泛的應用， 下面將介紹大資料技術在銀行、證券、保險等金融細分領域中的應用。

2.1 銀行大資料應用

國內不少銀行已經開始嘗試通過大資料來驅動業務運營，如中信銀行信用卡中心使用大資料技術實現了實時營銷，光大銀行建立了社交網路資訊資料庫，招商銀行則利用大資料發展小微貸款。總的來看銀行大資料應用可以分為四大方面：

2.1.1 客戶畫像

客戶畫像應用主要分為個人客戶畫像和企業客戶畫像。個人客戶畫像包括人口統計學特徵、消費能力資料、興趣資料、風險偏好等；企業客戶畫像包括企業的生產、流通、運營、財務、銷售和客戶資料、相關產業鏈上下游等資料。值得注意的是，銀行擁有的客戶資訊並不全面，基於銀行自身擁有的資料有時候難以得出理想的結果甚至可能得出錯誤的結論。比如，如果某位信用卡客戶月均刷卡8次，平均每次刷卡金額800元，平均每年打4次客服電話，從未有過投訴，按照傳統的資料分析，該客戶是一位滿意度較高流失風險較低的客戶。但如果看到該客戶的微博，得到的真實情況是：工資卡和信用卡不在同一家銀行，還款不方便，好幾次打客服電話沒接通，客戶多次在微博上抱怨，該客戶流失風險較高。所以銀行不僅僅要考慮銀行自身業務所採集到的資料，更應考慮整合外部更多的資料，以擴充套件對客戶的瞭解。包括：
（1）客戶在社交媒體上的行為資料（如光大銀行建立了社交網路資訊資料庫）。通過打通銀行內部資料和外部社會化的資料可以獲得更為完整的客戶拼圖，從而進行更為精準的營銷和管理；
（2）客戶在電商網站的交易資料，如建設銀行則將自己的電子商務平臺和信貸業務結合起來，阿里金融為阿里巴巴使用者提供無抵押貸款，使用者只需要憑藉過去的信用即可；
（3）企業客戶的產業鏈上下游資料。如果銀行掌握了企業所在的產業鏈上下游的資料，可以更好掌握企業的外部環境發展情況，從而可以預測企業未來的狀況；
（4）其他有利於擴充套件銀行對客戶興趣愛好的資料，如網路廣告界目前正在興起的DMP資料平臺的網際網路使用者行為資料。

2.1.2 精準營銷

在客戶畫像的基礎上銀行可以有效的開展精準營銷，包括：
（1）實時營銷。實時營銷是根據客戶的實時狀態來進行營銷，比如客戶當時的所在地、客戶最近一次消費等資訊來有針對地進行營銷（某客戶採用信用卡採購孕婦用品，可以通過建模推測懷孕的概率並推薦孕婦類喜歡的業務）；或者將改變生活狀態的事件（換工作、改變婚姻狀況、置居等）視為營銷機會；
（2）交叉營銷。即不同業務或產品的交叉推薦，如招商銀行可以根據客戶交易記錄分析，有效地識別小微企業客戶，然後用遠端銀行來實施交叉銷售；
（3）個性化推薦。銀行可以根據客戶的喜歡進行服務或者銀行產品的個性化推薦，如根據客戶的年齡、資產規模、理財偏好等，對客戶群進行精準定位，分析出其潛在金融服務需求，進而有針對性的營銷推廣；
（4）客戶生命週期管理。客戶生命週期管理包括新客戶獲取、客戶防流失和客戶贏回等。如招商銀行通過構建客戶流失預警模型，對流失率等級前20%的客戶發售高收益理財產品予以挽留，使得金卡和金葵花卡客戶流失率分別降低了15個和7個百分點。

2.1.3 風險管理與風險控制

在風險管理和控制方面包括中小企業貸款風險評估和欺詐交易識別等手段。
（1）中小企業貸款風險評估。銀行可通過企業的產、流通、銷售、財務等相關資訊結合大資料探勘方法進行貸款風險分析，量化企業的信用額度，更有效的開展中小企業貸款。
（2）實時欺詐交易識別和反洗錢分析。銀行可以利用持卡人基本資訊、卡基本資訊、交易歷史、客戶歷史行為模式、正在發生行為模式（如轉賬）等，結合智慧規則引擎（如從一個不經常出現的國家為一個特有使用者轉賬或從一個不熟悉的位置進行線上交易）進行實時的交易反欺詐分析。如IBM金融犯罪管理解決方案幫助銀行利用大資料有效地預防與管理金融犯罪，摩根大通銀行則利用大資料技術追蹤盜取客戶賬號或侵入自動櫃員機(ATM)系統的罪犯。

2.1.4 運營優化

（1）市場和渠道分析優化。通過大資料，銀行可以監控不同市場推廣渠道尤其是網路渠道推廣的質量，從而進行合作渠道的調整和優化。同時，也可以分析哪些渠道更適合推廣哪類銀行產品或者服務，從而進行渠道推廣策略的優化。
（2）產品和服務優化：銀行可以將客戶行為轉化為資訊流，並從中分析客戶的個性特徵和風險偏好，更深層次地理解客戶的習慣，智慧化分析和預測客戶需求，從而進行產品創新和服務優化。如興業銀行目前對大資料進行初步分析，通過對還款資料探勘比較區分優質客戶，根據客戶還款數額的差別，提供差異化的金融產品和服務方式。
（3）輿情分析：銀行可以通過爬蟲技術，抓取社群、論壇和微博上關於銀行以及銀行產品和服務的相關資訊，並通過自然語言處理技術進行正負面判斷，尤其是及時掌握銀行以及銀行產品和服務的負面資訊，及時發現和處理問題；對於正面資訊，可以加以總結並繼續強化。同時，銀行也可以抓取同行業的銀行正負面資訊，及時瞭解同行做的好的方面，以作為自身業務優化的借鑑。

2.2 保險行業大資料應用

過去，由於保險行業的代理人的特點，所以在傳統的個人代理渠道，代理人的素質及人際關係網是業務開拓的最為關鍵因素，而大資料在在新客戶開發和維繫中的作用就沒那麼突出。但隨著網際網路、移動網際網路以及大資料的發展，網路營銷、移動營銷和個性化的電話銷售的作用將會日趨顯現，越來越多的保險公司注意到大資料在保險行業中的作用。總的來說，保險行業的大資料應用可以分為三大方面：客戶細分及精細化營銷、欺詐行為分析和精細化運營。

2.2.1 客戶細分和精細化營銷

（1）客戶細分和差異化服務。風險偏好是確定保險需求的關鍵。風險喜好者、風險中立者和風險厭惡者對於保險需求有不同的態度。一般來講，風險厭惡者有更大的保險需求。在客戶細分的時候，除了風險偏好資料外，要結合客戶職業、愛好、習慣、家庭結構、消費方式偏好資料，利用機器學習演算法來對客戶進行分類，並針對分類後的客戶提供不同的產品和服務策略。
（2）潛在客戶挖掘及流失使用者預測。保險公司可通過大資料整合客戶線上和線下的相關行為，通過資料探勘手段對潛在客戶進行分類，細化銷售重點。通過大資料進行挖掘，綜合考慮客戶的資訊、險種資訊、既往出險情況、銷售人員資訊等，篩選出影響客戶退保或續期的關鍵因素，並通過這些因素和建立的模型，對客戶的退保概率或續期概率進行估計，找出高風險流失客戶，及時預警，制定挽留策略，提高保單續保率。
（3）客戶關聯銷售。保險公司可以關聯規則找出最佳險種銷售組合、利用時序規則找出顧客生命週期中購買保險的時間順序，從而把握保戶提高保額的時機、建立既有保戶再銷售清單與規則，從而促進保單的銷售。除了這些做法以外，藉助大資料，保險業可以直接鎖定客戶需求。以淘寶運費退貨險為例。據統計，淘寶使用者運費險索賠率在50%以上，該產品對保險公司帶來的利潤只有5%左右，但是有很多保險公司都有意願去提供這種保險。因為客戶購買運費險後保險公司就可以獲得該客戶的個人基本資訊，包括手機號和銀行賬戶資訊等，並能夠了解該客戶購買的產品資訊，從而實現精準推送。假設該客戶購買並退貨的是嬰兒奶粉，我們就可以估計該客戶家裡有小孩，可以向其推薦關於兒童疾病險、教育險等利潤率更高的產品。
（4）客戶精準營銷。在網路營銷領域，保險公司可以通過收集網際網路使用者的各類資料，如地域分佈等屬性資料，搜尋關鍵詞等即時資料，購物行為、瀏覽行為等行為資料，以及興趣愛好、人脈關係等社交資料，可以在廣告推送中實現地域定向、需求定向、偏好定向、關係定向等定向方式，實現精準營銷。

2.2.2 欺詐行為分析

基於企業內外部交易和歷史資料，實時或準實時預測和分析欺詐等非法行為，包括醫療保險欺詐與濫用分析以及車險欺詐分析等。
（1）醫療保險欺詐與濫用分析。醫療保險欺詐與濫用通常可分為兩種，一是非法騙取保險金，即保險欺詐；另一類則是在保額限度內重複就醫、浮報理賠金額等，即醫療保險濫用。保險公司能夠利用過去資料，尋找影響保險欺詐最為顯著的因素及這些因素的取值區間，建立預測模型，並通過自動化計分功能，快速將理賠案件依照濫用欺詐可能性進行分類處理。
（2）車險欺詐分析。保險公司夠利用過去的欺詐事件建立預測模型，將理賠申請分級處理，可以很大程度上解決車險欺詐問題，包括車險理賠申請欺詐偵測、業務員及修車廠勾結欺詐偵測等。

2.2.3 精細化運營

（1）產品優化，保單個性化。過去在沒有精細化的資料分析和挖掘的情況下，保險公司把很多人都放在同一風險水平之上，客戶的保單並沒有完全解決客戶的各種風險問題。但是，保險公司可以通過自有資料以及客戶在社交網路的資料，解決現有的風險控制問題，為客戶制定個性化的保單，獲得更準確以及更高利潤率的保單模型，給每一位顧客提供個性化的解決方案。
（2）運營分析。基於企業內外部運營、管理和互動資料分析，藉助大資料臺，全方位統計和預測企業經營和管理績效。基於保險保單和客戶互動資料進行建模，藉助大資料平臺快速分析和預測再次發生或者新的市場風險、操作風險等。
（3）代理人（保險銷售人員）甄選。根據代理人員（保險銷售人員）業績資料、性別、年齡、入司前工作年限、其它保險公司經驗和代理人人員思維性向測試等，找出銷售業績相對最好的銷售人員的特徵，優選高潛力銷售人員。

2.3 證券行業大資料應用

大資料時代，大多數券商們已意識到大資料的重要性，券商對於大資料的研究與應用正在處於起步階段，相對於銀行和保險業，證券行業的大資料應用起步相對較晚。目前國內外證券行業的大資料應用大致有以下三個方向：

2.3.1 股價預測

2011年5月英國對衝基金Derwent Capital Markets建立了規模為4000 萬美金的對衝基金，該基金是首家基於社交網路的對衝基金，該基金通過分析Twitter 的資料內容來感知市場情緒，從而指導進行投資。利用 Twitter 的對衝基金 Derwent Capital Markets 在首月的交易中確實盈利了，其以1.85%的收益率，讓平均數只有0.76%的其他對衝基金相形見絀。

麻省理工學院的學者，根據情緒詞將twitter內容標定為正面或負面情緒。結果發現，無論是如“希望”的正面情緒，或是“害怕”、“擔心”的負面情緒，其佔總twitter內容數的比例，都預示著道瓊斯指數、標準普爾500指數、納斯達克指數的下跌；美國佩斯大學的一位博士則採用了另外一種思路，他追蹤了星巴克、可口可樂和耐克三家公司在社交媒體上的受歡迎程度，同時比較它們的股價。他們發現，Facebook上的粉絲數、Twitter 上的聽眾數和 Youtude 上的觀看人數都和股價密切相關。另外，品牌的受歡迎程度，還能預測股價在10天、30天之後的上漲情況。但是，Twitter 情緒指標，仍然不可能預測出會衝擊金融市場的突發事件。例如，在2008年10月13號，美國聯邦儲備委員會突然啟動一項銀行紓困計劃，令道瓊斯指數反彈，而3天前的Twitter相關情緒指數毫無徵兆。而且，研究者自己也意識到，Twitter 使用者與股市投資者並不完全重合，這樣的樣本代表性有待商榷，但仍無法阻止投資者對於新興的社交網路傾注更多的熱情。

2.3.2 客戶關係管理

（1）客戶細分。通過分析客戶的賬戶狀態（型別、生命週期、投資時間）、賬戶價值（資產峰值、資產均值、交易量、佣金貢獻和成本等）、交易習慣（週轉率、市場關注度、倉位、平均持股市值、平均持股時間、單筆交易均值和日均成交量等）、投資偏好（偏好品種、下單渠道和是否申購）以及投資收益（本期相對和絕對收益、今年相對和絕對收益和投資能力等），來進行客戶聚類和細分，從而發現客戶交易模式型別，找出最有價值和盈利潛力的客戶群, 以及他們最需要的服務, 更好地配置資源和政策, 改進服務,抓住最有價值的客戶。
（2）流失客戶預測。券商可根據客戶歷史交易行為和流失情況來建模從而預測客戶流失的概率。如2012年海通證券自主開發的“給予資料探勘演算法的證券客戶行為特徵分析技術”主要應用在客戶深度畫像以及基於畫像的使用者流失概率預測。通過對海通100多萬樣本客戶、半年交易記錄的海量資訊分析，建立了客戶分類、客戶偏好、客戶流失概率的模型。該項技術最大初衷是希望通過客戶行為的量化分析，來測算客戶將來可能流失的概率。

2.3.3 智慧投資顧問

智慧投資顧問業務提供線上投資顧問服務，其基於客戶的風險偏好、交易行為等個性化資料，依靠大資料量化模型，為客戶提供低門檻、低費率的個性化財富管理方案。

2.3.4 投資景氣指數

2012年，國泰君安推出了“個人投資者投資景氣指數”（簡稱3I指數），通過一個獨特的視角傳遞個人投資者對市場的預期、當期的風險偏好等資訊。國泰君安研究所對海量個人投資者樣本進行持續性跟蹤監測，對賬本投資收益率、持倉率、資金流動情況等一系列指標進行統計、加權彙總後得到的綜合性投資景氣指數。
3I指數通過對海量個人投資者真實投資交易資訊的深入挖掘分析，瞭解交易個人投資者交易行為的變化、投資信心的狀態與發展趨勢、對市場的預期以及當前的風險偏好等資訊。在樣本選擇上，選擇資金100萬元以下、投資年限5年以上的中小投資者，樣本規模高達10萬，覆蓋全國不同地區，所以，這個指數較為有代表性。在引數方面，主要根據中小投資者持倉率的高低、是否追加資金、是否盈利這幾個指標，來看投資者對市場是樂觀還是悲觀。“3I指數”每月釋出一次，以100為中間值，100—120屬於正常區間，120以上表示趨熱，100以下則是趨冷。從實驗資料看，從2007年至今，“3I指數”的漲跌波動與上證指數走勢擬合度相當高。

3. 金融大資料應用面臨的挑戰及對策

大資料技術為金融行業帶來了裂變式的創新活力，其應用潛力有目共睹，但在資料應用管理、業務場景融合、標準統一、頂層設計等方面存在的瓶頸也有待突破。

• 資料資產管理水平仍待提高。主要體現在資料質量不高、獲取方式單一、資料系統分散等方面。

• 應用技術和業務探索仍需突破。主要體現在金融機構原有的資料系統架構相對複雜，涉及的系統平臺和供應商較多，實現大資料應用的技術改造難度很大。同時，金融行業的大資料分析應用模型仍處於起步階段，成熟案例和解決方案仍相對較少，需要投入大量的時間和成本進行調研和試錯。系統誤判率相對較高。

• 行業標準和安全規範仍待完善。金融大資料缺乏統一的儲存管理標準和互通共享平臺，對個人隱私的保護上還未形成可信的安全機制。

• 頂層設計和扶持政策還需強化。體現在金融機構間的資料壁壘較為明顯，各自為戰問題突出，缺乏有效的整合協同。同時，行業應用缺乏整體性規劃，分散、臨時、應激等特點突出，資訊價值開發仍有較大潛力。

總的來看，大資料在金融行業的應用起步比網際網路行業稍晚，其應用深度和廣度還有很大的擴充套件空間。金融行業的大資料應用依然有很多的問題需要克服，同時需要國家出臺促進金融大資料發展的產業規劃和扶持政策，也需要行業分階段推動金融資料開放、共享和統一平臺建設，強化行業標準和安全規範。只有這樣，大資料技術才能在金融行業中穩步應用發展，不斷推動金融行業的發展提升。

以下是個人微信公眾號， 用於學習與交流， 歡迎大家關注。