1. 程式人生 > >【大資料架構】基於大資料的消費信貸平臺

【大資料架構】基於大資料的消費信貸平臺

金融的核心是風控,而好的風控依託於資料。作為依託於大資料驅動的信用消費金融平臺的量化派,為了給信貸使用者更準確的信用評級,對於每個信貸使用者都會從多個渠道獲取大量的有效資料,這些資料聚合起來也是海量資料規模。量化派對使用者的資訊整合不光包含了使用者的畫像(性別、職業、愛好等等),也包含了使用者之間的關係。

旅遊消費信貸業務簡介

640?wx_fmt=jpeg&wxfrom=5&wx_lazy=1

線上旅遊場景貸款

旅遊消費信貸平臺介紹

0?wx_fmt=jpeg

平臺介紹

0?wx_fmt=jpeg

業務系統

0?wx_fmt=jpeg

業務系統

0?wx_fmt=jpeg

模型體系

0?wx_fmt=jpeg

模型體系

0?wx_fmt=jpeg

模型系統架構初版

0?wx_fmt=jpeg

模型系統優化方案

0?wx_fmt=jpeg

模型系統架構優化版

0?wx_fmt=jpeg

實現效果

0?wx_fmt=jpeg

系統全貌

0?wx_fmt=jpeg

資料體系

0?wx_fmt=jpeg

資料系統

0?wx_fmt=gif

旅遊使用者信用體系構建

0?wx_fmt=jpeg

使用者信用體系

0?wx_fmt=jpeg

使用者信用體系

0?wx_fmt=jpeg

愛奇藝大資料平臺的構建之路

人人懂點兒大資料 

其實當我們談架構的時候,往往已經是在面對一個比較複雜的分散式系統,分散式系統有著CAP和BASE等經典理論,引申出高可用、可擴充套件、一致性、效能等特點,而衡量一個分散式系統的架構是否成功,則取決於業務需求,對於支付系統來說,一致性是最高標準,而相對於視訊播放服務,高可用和效能則更為重要。對於大部分架構來說,最終一致性已經足夠,而高可用和可擴充套件往往是網際網路架構的首要考慮因素。

挑戰

0?wx_fmt=jpeg

愛奇藝大事記

0?wx_fmt=jpeg

核心指標

0?wx_fmt=jpeg

挑戰

構建之路

0?wx_fmt=jpeg

愛奇藝大資料應用

0?wx_fmt=jpeg

1.0專業化

0?wx_fmt=jpeg

1.0專業化

0?wx_fmt=jpeg

排程調優

0?wx_fmt=jpeg

2.0規模化

0?wx_fmt=jpeg

2.0規模化

0?wx_fmt=jpeg

Hadoop工作平臺

0?wx_fmt=jpeg

Yarn升級

0?wx_fmt=jpeg

Spark

0?wx_fmt=jpeg

Spark演算法優化

0?wx_fmt=jpeg

社群貢獻

0?wx_fmt=jpeg

社群貢獻

0?wx_fmt=jpeg

3.0生態化

0?wx_fmt=jpeg

3.0生態化

0?wx_fmt=jpeg

Impala

0?wx_fmt=jpeg

Kylin

0?wx_fmt=jpeg

Hadoop QoS

0?wx_fmt=jpeg

Koala

0?wx_fmt=jpeg

Koala

0?wx_fmt=jpeg

Gear

0?wx_fmt=jpeg

Venus

0?wx_fmt=jpeg

Europa

0?wx_fmt=jpeg

ESQL

0?wx_fmt=jpeg

MySQL IO

0?wx_fmt=jpeg

架構

案例

0?wx_fmt=jpeg

風控系統

0?wx_fmt=jpeg

風控系統

總結

0?wx_fmt=jpeg

搜狐個性化視訊推薦架構設計和實踐

人人懂點兒大資料 

為什麼要做推薦系統?視訊的覆蓋率問題,好的視訊無法難以被人發現,隨著使用者的量的增加,大部分使用者存在沒有特殊明確的需求場景,需求解決也比較迫切,幫助使用者發現對自己有價值的視訊,讓視訊展示對他感興趣的使用者面前,實現消費者和內容生產者雙贏。

推薦系統概述

0?wx_fmt=jpeg

為什麼要做推薦系統

0?wx_fmt=jpeg

個性化推薦產品形態

0?wx_fmt=jpeg

推薦系統整體概況

推薦系統架構

0?wx_fmt=jpeg

推薦系統架構

0?wx_fmt=jpeg

推薦系統架構

0?wx_fmt=jpeg

推薦系統架構

推薦引擎

0?wx_fmt=jpeg

推薦引擎

0?wx_fmt=jpeg

推薦引擎

0?wx_fmt=jpeg

推薦引擎

召回模型

0?wx_fmt=jpeg

召回模型

配比

0?wx_fmt=jpeg

配比

排序

0?wx_fmt=jpeg

特徵工程

0?wx_fmt=jpeg

排序模型

視訊處理引擎

0?wx_fmt=jpeg

視訊處理引擎

0?wx_fmt=jpeg

視訊處理引擎

使用者畫像&視訊畫像

0?wx_fmt=jpeg

視訊畫像&使用者畫像

0?wx_fmt=jpeg

使用者畫像

0?wx_fmt=jpeg

視訊畫像

如何評價推薦系統

0?wx_fmt=jpeg

推薦系統評價指標

0?wx_fmt=jpeg

預測CTR可信的可信度

0?wx_fmt=jpeg

版本迭代

0?wx_fmt=jpeg

推薦系統測試

0?wx_fmt=jpeg

640?wx_fmt=png

人工智慧賽博物理作業系統

AI-CPS OS

人工智慧賽博物理作業系統新一代技術+商業作業系統“AI-CPS OS:雲端計算+大資料+物聯網+區塊鏈+人工智慧)分支用來的今天,企業領導者必須瞭解如何將“技術”全面滲入整個公司、產品等“商業”場景中,利用AI-CPS OS

形成數字化+智慧化力量,實現行業的重新佈局、企業的重新構建和自我的煥然新生。

AI-CPS OS的真正價值並不來自構成技術或功能,而是要以一種傳遞獨特競爭優勢的方式將自動化+資訊化、智造+產品+服務資料+分析一體化,這種整合方式能夠釋放新的業務和運營模式。如果不能實現跨功能的更大規模融合,沒有顛覆現狀的意願,這些將不可能實現。

領導者無法依靠某種單一戰略方法來應對多維度的數字化變革。面對新一代技術+商業作業系統AI-CPS OS顛覆性的數字化+智慧化力量,領導者必須在行業、企業與個人這三個層面都保持領先地位:

  1. 重新行業佈局:你的世界觀要怎樣改變才算足夠?你必須對行業典範進行怎樣的反思?

  2. 重新構建企業:你的企業需要做出什麼樣的變化?你準備如何重新定義你的公司?

  3. 重新打造自己:你需要成為怎樣的人?要重塑自己並在數字化+智慧化時代保有領先地位,你必須如何去做?

AI-CPS OS是數字化智慧化創新平臺,設計思路是將大資料、物聯網、區塊鏈和人工智慧等無縫整合在雲端,可以幫助企業將創新成果融入自身業務體系,實現各個前沿技術在雲端的優勢協同。AI-CPS OS形成的字化+智慧化力量與行業、企業及個人三個層面的交叉,形成了領導力模式,使數字化融入到領導者所在企業與領導方式的核心位置:

  1. 精細種力量能夠使人在更加真實、細緻的層面觀察與感知現實世界和數字化世界正在發生的一切,進而理解和更加精細地進行產品個性化控制、微觀業務場景事件和結果控制。

  2. 智慧:模型隨著時間(資料)的變化而變化,整個系統就具備了智慧(自學習)的能力。

  3. 高效:企業需要建立實時或者準實時的資料採集傳輸、模型預測和響應決策能力,這樣智慧就從批量性、階段性的行為變成一個可以實時觸達的行為。

  4. 不確定性:數字化變更顛覆和改變了領導者曾經仰仗的思維方式、結構和實踐經驗,其結果就是形成了複合不確定性這種顛覆性力量。主要的不確定性蘊含於三個領域:技術、文化、制度。

  5. 邊界模糊:數字世界與現實世界的不斷融合成CPS不僅讓人們所知行業的核心產品、經濟學定理和可能性都產生了變化,還模糊了不同行業間的界限。這種效應正在向生態系統、企業、客戶、產品快速蔓延。

AI-CPS OS形成的數字化+智慧化力量通過三個方式激發經濟增長:

  1. 創造虛擬勞動力,承擔需要適應性和敏捷性的複雜任務,即“智慧自動化”,以區別於傳統的自動化解決方案;

  2. 對現有勞動力和實物資產進行有利的補充和提升,提高資本效率

  3. 人工智慧的普及,將推動多行業的相關創新,開闢嶄新的經濟增長空間

給決策制定者和商業領袖的建議:

  1. 超越自動化,開啟新創新模式:利用具有自主學習和自我控制能力的動態機器智慧,為企業創造新商機;

  2. 迎接新一代資訊科技,迎接人工智慧:無縫整合人類智慧與機器智慧,重新

    評估未來的知識和技能型別;

  3. 制定道德規範:切實為人工智慧生態系統制定道德準則,並在智慧機器的開

    發過程中確定更加明晰的標準和最佳實踐;

  4. 重視再分配效應:對人工智慧可能帶來的衝擊做好準備,制定戰略幫助面臨

    較高失業風險的人群;

  5. 開發數字化+智慧化企業所需新能力:員工團隊需要積極掌握判斷、溝通及想象力和創造力等人類所特有的重要能力。對於中國企業來說,創造兼具包容性和多樣性的文化也非常重要。

子曰:“君子和而不同,小人同而不和。”  《論語·子路》雲端計算、大資料、物聯網、區塊鏈和 人工智慧,像君子一般融合,一起體現科技就是生產力。

如果說上一次哥倫布地理大發現,拓展的是人類的物理空間。那麼這一次地理大發現,拓展的就是人們的數字空間。在數學空間,建立新的商業文明,從而發現新的創富模式,為人類社會帶來新的財富空間。雲端計算,大資料、物聯網和區塊鏈,是進入這個數字空間的船,而人工智慧就是那船上的帆,哥倫布之帆!

新一代技術+商業的人工智慧賽博物理作業系統AI-CPS OS作為新一輪產業變革的核心驅動力,將進一步釋放歷次科技革命和產業變革積蓄的巨大能量,並創造新的強大引擎。重構生產、分配、交換、消費等經濟活動各環節,形成從巨集觀到微觀各領域的智慧化新需求,催生新技術、新產品、新產業、新業態、新模式。引發經濟結構重大變革,深刻改變人類生產生活方式和思維模式,實現社會生產力的整體躍升。

產業智慧官  AI-CPS

用“人工智慧賽博物理作業系統新一代技術+商業作業系統“AI-CPS OS:雲端計算+大資料+物聯網+區塊鏈+人工智慧)在場景中構建狀態感知-實時分析-自主決策-精準執行-學習提升的認知計算和機器智慧;實現產業轉型升級、DT驅動業務、價值創新創造的產業互聯生態鏈


640?wx_fmt=png

640?wx_fmt=png

長按上方二維碼關注微信公眾號: AI-CPS,更多資訊回覆:

新技術“雲端計算”、“大資料”、“物聯網”、“區塊鏈”、“人工智慧新產業:智慧製造”、“智慧農業”、“智慧金融”、“智慧零售”、“智慧城市、“智慧駕駛”新模式:“財富空間、“資料科學家”、“賽博物理”、“供應鏈金融”

官方網站:AI-CPS.NET

本文系“產業智慧官”(公眾號ID:AI-CPS)收集整理,轉載請註明出處!

產業智慧官(公眾號ID:AI-CPS推薦的文章,除非確實無法確認,我們都會註明作者和來源。部分文章推送時未能與原作者取得聯絡。若涉及版權問題,煩請原作者聯絡我們,與您共同協商解決。聯絡、投稿郵箱:[email protected]

相關推薦

資料架構基於資料消費信貸平臺

金融的核心是風控,而好的風控依託於資料。作為依託於大資料驅動的信用消費金融平臺的量化派,為了給信

資料安全基於Kerberos的資料安全驗證方案

1.背景 網際網路從來就不是一個安全的地方。很多時候我們過分依賴防火牆來解決安全的問題,不幸的是,防火牆是假設“壞人”是來自外部的,而真正具有破壞性的攻擊事件都是往往都是來自於內部的。 近幾年,在thehackernews等網站上總會時不時看到可以看到一些因為資料安全問題被大面積攻擊、勒索的事件。在Hadoo

TOP100summit:分享實錄-Microsoft基於Kafka與Spark的實時資料質量監控平臺

本篇文章內容來自2016年TOP100summit Microsoft資深產品經理邢國冬的案例分享。 編輯:Cynthia 邢國冬(Tony Xing):Microsoft資深產品經理、負責微軟應用與服務集團的大資料平臺構建,資料產品與服務. 導讀:微軟的

分享《深度學習與計算機視覺演算法原理框架應用》《資料架構詳解從資料獲取到深度學習》PDF資料

下載:https://pan.baidu.com/s/12-s95JrHek82tLRk3UQO_w 更多資料分享:http://blog.51cto.com/3215120 《深度學習與計算機視覺 演算法原理、框架應用》PDF,帶書籤,347頁。《大資料架構詳解:從資料獲取到深度學習》PDF,帶書籤,3

分享《深度學習與計算機視覺演算法原理框架應用》PDF《資料架構詳解從資料獲取到深度學習》PDF +資料

下載:https://pan.baidu.com/s/12-s95JrHek82tLRk3UQO_w 更多分享資料:https://www.cnblogs.com/javapythonstudy/ 《深度學習與計算機視覺 演算法原理、框架應用》PDF,帶書籤,347頁。《大資料架構詳解:從資料獲取到深度學

[資料專案]-0011-基於資料技術推薦系統演算法案例實戰視訊教

2018最新最全大資料技術、專案視訊。整套視訊,非那種淘寶雜七雜八網上能免費找到拼湊的亂八七糟的幾年前的不成體系浪費咱們寶貴時間的垃圾,詳細內容如下,視訊高清不加密,需要的聯絡QQ:3164282908(加Q註明51CTO)。     [大資料專案]-0010-基於大資料技術

[資料專案]-0017-基於資料體系構建資料倉庫

2018最新最全大資料技術、專案視訊。整套視訊,非那種淘寶雜七雜八網上能免費找到拼湊的亂八七糟的幾年前的不成體系浪費咱們寶貴時間的垃圾,詳細內容如下,視訊高清不加密,需要的聯絡QQ:3164282908(加Q註明51CTO)。   課程介紹 本課程系統的、全面的、深入的講解了,基於大資

電信學2009.06基於實驗資料的參考MIMO天線構型效能研究

本文為芬蘭赫爾辛基理工大學(作者:Mònica Salicrú Cortés)的碩士論文,共87頁。 近年來,多輸入多輸出(MIMO)系統的效能已經從理論上得到了很好的驗證。通過在無線鏈路的兩端引入一組多天線,MIMO系統在不增加傳輸頻寬的情況下提高了無線系統的通道容量。本文研究了在實

微服務直播Apache佬聯手華為雲中間件領域總架構師開講啦!

分布 ESS vpd fff 方案 RoCE follow tex str 聽華為大牛分享基於服務的分布式事務解決方案 1月16號19:00-20:00 在線直播 2019年,進階微服務架構之路不容錯過的一堂微服務直播課,快來強勢圍觀! 參與直播互動,還有機會獲得導師推薦書

資料架構及行業資料應用

 今天要和大家分享一 些南大通用CTO武新所總結的底層資料處理技術的發展趨勢和正在經歷的巨大變革。 這個領域過去5年發展很快、熱度很高,目前還在起步階段。 1.資料價值的發現與使用先不說什麼是大資料,這個爭議很多,我也說不清楚。不過我個人認為在大資料的4個V中,最顯著的

庫函式版本基於STM32F103的MPU6050的原始資料讀取程式詳解

 因為我的部落格已經對I2C協議的詳細過程已經做了一個例子!所以這個MPU6050的程式我將使用庫函式完成! 第一步:硬體連線: 第二步:初始化I2C埠的函式: /***PB6/PB7 埠初始化****/ static void I2C_GPIO_Config(voi

NOIP2014 提高組生活爆炸版石頭剪刀布

關系 LG vertica 爆炸 namespace -s sof OS Go Description 石頭剪刀布是常見的猜拳遊戲:石頭勝剪刀,剪刀勝布,布勝石頭。如果兩個人出拳一 樣,則不分勝負。在《生活大爆炸》第二季第 8 集中出現了一種石頭剪刀布的升級版遊戲。

大數據幹貨基於Hadoop的大數據平臺實施——整體架構設計

當我 調度 順序 .com 邊界 ilo 事情 軟件架構設計 行為 大數據的熱度在持續的升溫,繼雲計算之後大數據成為又一大眾所追捧的新星。我們暫不去討論大數據到底是否適用於您的公司或組織,至少在互聯網上已經被吹噓成無所不能的超級戰艦。大數據的熱度在持續的升溫,繼雲計算之後大

點選某列表介面上的某按鈕時調出來另一個設計項的列表介面,選中被調出的列表介面上的值時彈出資料能輸入資料的程式碼樣例

//例如:【出庫管理】設計項的列表介面上有一個【出庫】按鈕,點擊出庫按鈕時調出【入庫管理】設計項的列表介面,選中【入庫管理】列表介面上的一條記錄時,彈出輸入框,程式碼樣例如下   function(button, e) { debugger; // 中斷除錯指令,可以手動刪除它

Android架構基於MVP模式的Retrofit2+RXjava封裝之常見問題(四)

###先回顧下之前的 【Android架構】基於MVP模式的Retrofit2+RXjava封裝(一) 【Android架構】基於MVP模式的Retrofit2+RXjava封裝之檔案下載(二) 【Android架構】基於MVP模式的Retrofit2+RXjava封裝之檔案上傳(三)

Android架構基於MVP模式的Retrofit2+RXjava封裝(一)

#最近有個新專案要做,搭建框架的時候,順便梳理了下MVP模式,特此記錄,歡迎大家指正。 專案地址GitHub 一 、首先是依賴 compile 'com.google.code.gson:gson:2.8.0' compile 'com.squareup.ok

Android架構基於MVP模式的Retrofit2+RXjava封裝之檔案上傳(三)

最近手頭事比較多,抽個空把之前系列也補充一下。 先回顧下之前的 【Android架構】基於MVP模式的Retrofit2+RXjava封裝(一) 【Android架構】基於MVP模式的Retrofit2+RXjava封裝之檔案下載(二) 今天要說的是檔案上傳 1.單圖上

Android架構基於MVP模式的Retrofit2+RXjava封裝之檔案下載(二)

上篇中我們介紹了基於MVP的Retrofit2+RXjava封裝,還沒有看的點選這裡,這一篇我們來說說檔案下載的實現。 首先,我們先在ApiServer定義好呼叫的介面 @GET Observable<ResponseBody> downloadFile(@

oracle報錯 impdp匯入資料報錯ORA-29283: invalid file operation

oracle impdp匯入資料報錯ORA-29283: invalid file operation 資料庫版本:11.2.0.4;系統版本:Oracle Linux 6.4 場景: 使用impdp匯入資料,dump檔名為bop_1112.dump,directory為:dataBac

洛谷P1230智力沖浪

題目大意:給定 N 項任務,每項任務有一個截至完成時間,若在截止時間之後完成要罰款 \(w_i\) 元,最初有 M 元,怎樣完成能夠留下最多得錢。 題解:按照罰款從多到少貪心,在查詢能夠最晚完成一項任務的時間時,可以採用並查集優化,即:建立一個時間上的並查集,每次在某個時間完成一項任務時,合併當前時間和前一