1. 程式人生 > >阿里巴巴,果然開始擁有“預測未來”的能力了

阿里巴巴,果然開始擁有“預測未來”的能力了

文 | 史中

頂燈閃爍,笛聲響徹。

救護車載著病人,衝向茫茫車海,在時間的賽道上狂奔。

高德地圖、GPS 衛星導航、路面磁感線圈、1300 個路口攝像頭同時開動,為這輛救護車勘探最快路線;

GPS 傳回實時資料,後臺根據輔助資料糾偏,錨定救護車每一刻的精確位置;

救護車將要經過的沿途,車輛情況被實時計算。確保路口綠燈提前亮起,在救護車通過之前,剛好所有社會車輛已經行駛一空。

這不是演習,這是杭州城市大腦每天都在執行的任務。依靠計算,一輛救護車到達醫院的速度,平均縮短了 50%。在這座城市,靠鳴笛和闖紅燈開道的悲壯徹底成為歷史。

說人同螻蟻,其實並不為過。兩百多萬輛車奔跑在城市裡,他們的行蹤像風裡的落葉一樣叵測。但通過對 1300個路口的攝像頭的實時計算,城市大腦就可以精確地預測出未來十五分鐘、未來半小時那哪個路段將會擁堵,從而第一時間指揮路口訊號燈“變換姿勢”。

計算在幫人類追趕時間。

中哥今天要說的,就是這個精緻而堅固的“大資料實時計算引擎”。

你可能從未聽說過這個引擎,甚至在此刻之前都不知道它的存在,但你很可能早已成為這個引擎服務的一員:

一年一度的雙11,無數人湧進天貓,每個人都能用 0.1 秒搜尋到自己理想的商品,在智慧推薦中發現適合的寶貝,背後正是依賴這個引擎;

雙11慶典現場,大屏上那個跳動的總成交量數字,只是背後所有資料的冰山一角。幾十億種商品的實時庫存、價格、優惠資料得以分秒不慢地同步給螢幕前的你,也同樣依賴這個引擎

從某種意義上來說,只要給這個計算引擎足夠的資源,無論面對多麼龐大複雜的系統,我們都可以用幾乎忽略不計的時間看到真相——這大大快於人類最聰明的大腦。

這是我們親手創造的“先知”。

重器難成。為了這個先知一般的“大資料實時計算引擎”,阿里巴巴最核心的技術人,已經耗費了將近五年時間。

讓人感慨的是,這個承載了一個個城市的交通,扛起了一條條生產線,擔負了一個國家十幾億人購物的強大引擎之所以的誕生在阿里巴巴,最初並不是為了滿足什麼需要,而僅僅是因為它“看上去很美”。

這是一個鮮為人知的故事。

gif;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAA

(1)

1999年,阿里巴巴在杭州成立。

同樣在1999年,蔣曉偉正在美國攻讀理論物理博士。作為一個初三就立志要探索宇宙祕密的年輕人,到目前為止他的人生堪稱完美。

就在一個嶄新的物理學家即將出爐的時候,命運開始展現它的波雲詭譎。蔣曉偉突然被自己的導師“忽悠”到了一家非常有希望的網際網路初創公司。理由是:“在30歲之前先財富自由,以後愛怎麼學物理就怎麼學物理。”

一年之後,網際網路泡沫破裂。

然而,蔣曉偉卻留在了這片戰場。2002年,他加入微軟,2010年他加入 Facebook。彈指揮間,直到回國加入阿里巴巴之前,他已經從物理學家成功轉型成為資料庫和計算資源排程系統專家。

他還記得,自己加入阿里的時間是 2014年12月29日。這是一年中可以辦理入職的最後一天。

“為什麼選最後一天?”

“因為看上去比較有美感。”

“。。。”

目測,蔣曉偉是我見過的第一個用物理公式般的美感對待人生的人。甚至,他給自己起的花名都想叫做“量子”,後來思考了一下,覺得量子不太像個人名,才改為諧音“量仔”。

蔣曉偉

蔣曉偉入職的是阿里巴巴集團搜尋團隊。你可能會問:納尼?阿里巴巴還有搜尋團隊?當然有,而且還極其重要。舉個搜尋引擎的日常:

當你在淘寶搜尋框裡輸入“杜蕾斯”的時候,搜尋引擎就馬上行動,從億萬賣家出售中的寶貝里幫你找到合適的 TT(及其他產品),然後按照推薦順序排列在搜尋結果裡。

注意,有趣的硬核要來了:

如果,商家的 TT 價格永遠不改,庫存永遠無限,優惠促銷方案永遠不變,那麼搜尋團隊只需要做一個最簡單的查詢系統就行了。

但是,現實中商家會隨時調整價格和優惠,某一款激情大顆粒也可能因為太受歡迎,上架十秒就賣到缺貨。在淘寶網上,你會發現真實的狀態是:每時每刻都有無數賣家的產品引數在改動。

所以,搜尋引擎的挑戰就是,要根據每時每刻最新的資料庫來瞬間算出最適合呈現給你的搜尋結果。

相信我,只有用最新鮮的資料算出的結果,才能讓螢幕對面的你露出心滿意足的表情:

面對這種現實,一個最穩妥的方式就是,搜尋引擎用把現在的資料庫全部算一遍,給出結果。

但是,這會耗費大量的計算力。畢竟這一秒相對於上一秒來說,可能發生引數變動的寶貝只有十個,而沒有引數變動的寶貝有十萬個。

那麼,你自然會想:“有沒有一種方法,讓我只計算改動的部分,再通過特別的數學運算和之前的結果融合,就能達到和計算全量資料一樣的效果呢?”

有的,這就叫“流式計算”

打個最簡單的比方:

你負責把椰汁平分給10個妹紙。剛開始你有10瓶椰汁,於是你一人分了一個。後來,你又得到了10瓶椰汁,這時候椰汁的總數變成了 20 瓶,平均每個妹紙應該得到兩個。

但你沒有必要把之前分給妹紙的椰汁收回來,重新每人給兩個;而是可以讓每個妹紙手上拿著之前的那瓶椰汁的基礎上,每人再補發一瓶。gif;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAA

通過這個例子,我猜你已經感受到了“流式計算”的激盪。當然,實際的資料庫運算比“分椰汁”複雜得多。

需要說明的是,當時在阿里巴巴內部,並不是沒有流式計算引擎,各部門都根據自己的需求研發了特定的流式計算引擎,只不過,大多引擎只用來解決各自部門的問題,沒有通用性。

很多業務都開發了

各自的流式計算引擎

但蔣曉偉突然發現,流式計算背後隱藏著一個神奇的事實:

既然只計算增量,就能得知全量的結果;那麼就可以永遠用計算增量的方式來表達計算全量。

也就是說:增量計算等效於全量計算;流式計算等效於批處理計算,實時計算等效於離線計算!

也就是說,如果按照這個構想做出一套完整功能的“流式計算引擎”,就可以一統江湖,運轉在阿里巴巴所有的技術底層。這可是一份不小的產業啊!

蔣曉偉越想越雞凍。

然鵝,讓他激動的最主要原因竟然是:“這個引擎太完美了!”他發現,其實自己身體裡的那個“物理學家”一直都在。物理追求的終極就是“大一統理論”——用一套機制解決所有問題。沒想到人生峰迴路轉,在計算機領域也給發現了一個“大一統”的機會。

老實說,蔣曉偉老溼傅這個想法有點危險。危險在哪呢?

首先,如果把當時搜尋業務需要的流式計算比作汽車發動機的話,蔣曉偉想要研製的發動機,是豪華到可以用到下一代宇宙飛船上的“核能發動機”。自己團隊支援的這攤子業務目前根本不需要這麼好的引擎。

其次,研究這個引擎的基本動力居然是“美感”。出於美感開發一個計算引擎,這種動機天然就有一種理想主義氣質。。。能不能研究成,那只有天知道。

再說,面對這麼巨集大的任務,手下能用來做研發的團隊,只有五個人。況且這五個兄弟還有日常的任務,人手極度短缺。

“但馬老師不是說了麼,夢想還是要有的,萬一實現了呢?”

剛剛加入阿里的蔣曉偉倒是決心已定。

(2)

蔣曉偉“能用”的團隊,全員都在北京。

這個小分隊的老大叫做王峰。王峰是個老阿里了,2006年加入阿里巴巴,在阿里北京的雅虎中國團隊做搜尋,後來又做過一淘和淘寶搜尋。此時此刻,他和北京的幾個兄弟主要負責一個開放搜尋專案的離線系統。 

聽到蔣曉偉對於“流式計算引擎”的描述,王峰內心驚呼“臥槽”。對於一個合格技術宅來說,一個好的技術構想比萌妹子更能讓他動心。

蔣曉偉和王峰一合計,事情很簡單:腳踩兩隻船,那基本沒戲。要麼就趁早死心,放棄新引擎研發;要麼就大家就把舊工作完全交出去,破釜沉舟幹票大的。

王峰的決定是,幹!

現在的王峰,

笑起來一幅波瀾不驚,

當年內心也是慌得一批。

王峰迴憶,領導們覺得很不可思議。因為交出原有的業務,北京這個小團隊相當於“失業”了。而新的研究——流式計算引擎——當時只是個構想,連技術方向也沒有,程式碼更是一行都還沒寫。對於王峰來說,這相當於一次破釜沉舟的內部創業,前途未卜,凶險異常。

事實也證明,別人的擔心都是對的。一開始團隊努著勁兒寫了三個月程式碼,仍然沒辦法達到蔣曉偉理想中的通用性,連他本人都有點心虛。

“我剛來阿里巴巴,就忽悠兄弟們把之前的專案都放棄了,要是最後證明我的構想是個坑,那不是害了別人麼。。。”他想。

焦急之中,已經到了 2015 年夏天,蔣曉偉突然在業內著名的大資料峰會 Hadoop Sumit 的論壇上看到有人發表了一個驚悚的評論:感覺 Flink 出來之後,Hadoop 就顯得不怎麼需要了。。。

Hadoop 是當年最火的大資料分散式架構,這個 Flink 是個神馬,根本沒聽過啊。但是當蔣曉偉、王峰和團隊研究完技術資料之後突然發現,這種“用流式計算來等效一切計算”的理念不就和我們想開發的那套引擎一模一樣嗎?

蔣曉偉仰天長嘯:

真是天助我也!既然已經有開源的技術,那麼我們只要在此之上繼續開發流計算引擎就好了啊!

這裡多介紹一句。Flink 是一個流式計算的開源框架,2010 年誕生於德國研究中心和柏林工業大學,2014年被捐贈給 Apache 基金會,並由創始公司 DataArtisans 繼續運營。

Flink 的 Logo 是一隻眼神裡有故事的松鼠。

簡單來說,2015年的時候,Flink 剛剛“出道”一年,幾乎沒有人知道,更沒有人大規模使用。就像一個剛剛畢業的大學生,看上去很有潛力,但“穩定性”和“實用性”都缺乏事實驗證。

就這樣,這幫阿里巴巴的技術專家,成為了全球第一批使用 Flink 框架做大資料引擎研發的人,蔣曉偉一瞬間就給自己的引擎起好了名字——“Blink”。這是英文眨眼的意思。”一眨眼,所有東西都計算好了!“

2015年底,搜尋部門要向阿里巴巴 CTO 行癲彙報。每人20分鐘時間,結果蔣曉偉上去講 Blink,沉浸在對這個“完美引擎”的想象中,一下就說了40分鐘。

作為阿里巴巴所有核心技術的掌門人,行癲素來對新技術很敏感。他聽懂了蔣曉偉的技術路線,內心也覺得相當靠譜。但這畢竟是搜尋團隊自己“偷偷”搞的專案,這幫兄弟究竟可以堅持走多遠,行癲心裡也沒底。於是鼓勵蔣曉偉說:“那就等你們明年做出來,我們再看!”

阿里巴巴 CTO 行癲 張建鋒

(3)

說到底,Blink 是一個通用引擎。它就像一個萬能發動機,可以裝載到轎車、卡車、飛機、火箭任何地方。

蔣曉偉手握這臺“萬能發動機”的1.0版本,到處去找車實驗。他盯上的“第一批車”,就是搜尋業務中的使用場景。

簡單科普一下:

搜尋業務的機器學習平臺內部代號叫“保時捷”(還真是一輛車。。。),可以根據你瀏覽商品的時間和動作,實時判斷出你可能會對什麼感興趣,從而在下一秒就能給你智慧推薦可能喜歡的商品。這是阿里巴巴非常有技術含量的一個應用。

實際上,機器學習平臺當時已經“心有所屬”,配有一臺流式計算引擎——之前王峰帶領搜尋團隊自研的 iStream。iStream 是專門為搜尋設計的,雖然目前可以很好地完成任務,但結構簡單,不具有特別強的通用性。

機器學習演算法團隊的一位負責人仁基,技術思想非常超前,非常巧的是,他同樣是個執著於“美感”的人。他相信,未來 Flink 很可能會成為下一代機器學習演算法重要的底層計算框架,於是在 Blink 系統研發的早期,就把團隊裡一百多位演算法工程師的力量都用來配合蔣曉偉。

“一兩百人的團隊,被我一個人折騰。”回憶到這裡,蔣曉偉露出了羞赧的表情。

說得很美好,結果真拿來 Blink 一用,動不動就躺屍。。。說實話,演算法工程師沒有義務為 Blink 的技術問題買單。畢竟演算法工程師是“生產汽車的”,而 Blink 這個“發動機”質量不穩定,導致人家的汽車備受詬病,可以說相當冤枉了。

所以那幾個月一百多位演算法工程師的日常就是各種吐槽“瘋子”蔣曉偉。

後來蔣曉偉才知道,這些吐槽,全都被仁基扛下來。仁基儘自己一切所能,在保護著這個弱小的 Blink。

終於,2016年5月,第一個基於 Blink 的機器學習小功能“A/B Testing”上線。雖然還存在一些青澀的小毛病,但所有的技術人都看到了,Blink 已經像會呼吸的小獸一樣,泛出誘人的引擎光澤。

最激動的,當然是蔣曉偉本人。

他把自己在 Flink 上成功的應用作為一個演講,投給了當年的 Hadoop Sumit 大會。非常巧,Flink 的創始人 Kostas 和 Stephan 也在同一個大會上有一個演講。他們兩撥人實際是那次 Hadoop 大會上唯二的 Flink 演講。

Kostas 提前看到了議程,頓感相見恨晚,於是主動聯絡了蔣曉偉,希望他能用團隊研究的成果影響社群。

“本來之前是想自己玩玩的,我們連阿里都不敢影響,還敢影響社群?”蔣曉偉說。但是 Kostas 和 Stephan 覺得這群阿里人的嘗試簡直不要太酷,特別支援。

蔣曉偉深受感動,“從那時候開始就覺得,我們不僅得把阿里內部的業務做好,還要為 Flink 社群做貢獻,把 Flink 社群做好。”

就這樣,蔣曉偉和團隊就跟組織“接上了頭”,成為了 Flink 社群的核心成員。

gif;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAAFlink 創始人 Kostas

這麼帥還來搞技術

可以說是相當想不開了

(4)

在搜尋團隊內部證明了 Blink 能力,又得到了 Flink 社群的認可,蔣曉偉終於有資格正視自己的“野心”了。

他提出要讓 Blink 支撐“雙11”上的實時機器學習任務,對方同意了。

也就是說,雙11當天,數億人在淘寶天貓搜尋商品,他們的每次檢視,點選,都會影響個性化的智慧推薦,在下一秒就能看到為自己量身定做的寶貝推薦。而這背後的實時計算,都要由 Blink 來支撐。

然而擡眼一看,夏天已經到了,距離雙11只有不到半年了。

整個九、十月份,Blink 和機器學習系統的聯調都處在各種花式崩潰之中。Blink 還小,壓根就沒見過雙十一這種“人類狂歡”的陣仗。出現了一個死結:一旦超大規模資料進來,Blink 的效能立刻大幅下降。

要知道,在 AI 領域,效能就是功能。效能大幅下降的 Blink 分分鐘就把人工智慧坑成“人工智障”。

老程式猿都知道,資料規模是對一個系統最大的考驗。一個系統承受不住大規模的資料浪潮,有可能證明這個架構就是無解的。如果真是架構缺陷,那麼解決方案只有一個:放棄。

帶領團隊攻堅的王峰迴憶,那幾天“自己已經崩潰了”。

十一假期,所有團隊的人都從北京衝到了杭州,別說休假,連覺都不睡了。六七個人就在工位上吃住,尋找究竟是哪個節點出了問題。即使是面對這樣的情況,蔣曉偉、王峰,還有其他同事都完全相信,Flink 架構是完美的,問題一定是區域性的可解的,只是我們還沒找到它。

終於,問題找到了!是不同層級運算元之間的排程模式需要優化。解決這個問題之後,系統能處理的資料量立刻躍升。十月中旬,Blink 正式切上線。本以為劫波渡盡,沒成想又是一大堆系統配合的問題接踵而來。

蔣曉偉記得,將近11月,Blink 還有一些問題沒搞定。這邊基礎引擎不搞定,演算法團隊就沒辦法在它的基礎上調優雙11的演算法。到最後,演算法團隊的老大都直接找到蔣曉偉,著急地質問:“你們究竟是怎麼回事啊?”

現在想想,他的意思可能是想讓我別折騰,直接換回去年的舊系統。但我的情商低,當時沒聽明白。就是一門心思地組織大家調優 Blink。。。

蔣曉偉回憶。

終於趕在11月前,Blink 完成了聯調。原則上,從11月1日開始,雙11的系統就要封閉程式碼,誰都不能動了。但是,這是 Blink 第一次承擔這麼重大的任務,為了萬無一失,相關團隊又提了很多冗餘性的建議。

王峰記得很清楚,一直到11月10日,還有幾個小時雙11就開始了,程式碼還最後改了幾行,最終封閉。

人事已盡,唯聽天命。

11月11日,巨大的資料像海嘯一樣湧向 Blink,蔣曉偉和王峰都捏了一把汗。然而,這個年輕的引擎應對自如。

第二天,Blink 在阿里巴巴一炮而紅。

2016年“雙11”

交易額定格在1207億

(5)

你以為故事結束了麼?圖樣圖森破。緊隨而來的 2017 年對於蔣曉偉來說,簡直不要更刺激。

意識到大資料引擎這麼重要,阿里巴巴集團決定調整組織架構,集全公司之力發展大資料引擎,由原阿里雲的首席科學家周靖人組建計算平臺事業部,在流式計算方面,把公司發展最好的三個引擎團隊合三為一。

周靖人

他也是阿里巴巴達摩院的“禪師”之一

這三個引擎分別是:阿里中介軟體團隊的 JStorm、阿里雲的 Galaxy、阿里巴巴搜尋團隊的 Blink。

得知大牛周靖人負責整合三個團隊,正在美國參加 Flink 官方大會 Flink Foward 的蔣曉偉和王峰內心有點波瀾。他們知道,三個隊伍合併之後,很可能在三條技術路線之中選擇一條。

蔣曉偉當然覺得自己的開源技術路線技術前景最好。但平心而論,Galaxy 的框架同樣非常優秀。更關鍵的問題在於,Galaxy 一直是周靖人團隊的成果。雖然在阿里巴巴不會出現因為親疏遠近而偏袒某個技術路線,但不可否認周靖人一定對於 Galaxy 更為熟悉。

那時的蔣曉偉,和這個即將成為新領導的周靖人完全不熟悉,他完全無法預測將會發生什麼。

我擔心,不會一回到國內,就沒工作了吧。。。。

蔣曉偉回憶。

回國之後,周靖人來找蔣曉偉,蔣曉偉的心已經快跳到嗓子眼了。周靖人說:“我想把整合之後的團隊交給你來負責,你們三人一起商量未來的技術路線,你覺得怎麼樣?”

這意味著,蔣曉偉突然擁有了80人的豪華陣容。那一瞬間他在心裡默唸:“穩了!”只要不是強制採用某個技術路線,他就有信心說服 Galaxy 和 JStorm 的負責人。技術擺在這裡,孰優孰劣是能講得清道理的。

蔣曉偉回憶,三個技術負責人的“談判”整整維持了一週。

大家都知道,這次技術路線的抉擇,將會影響阿里巴巴未來十年甚至更遠的技術發展,誰都不敢掉以輕心。

談到最後,爭奪的焦點就集中在 Blink 和 Galaxy 之間。

Flink 的開源生態,最終說服了Galaxy 的支持者。此時的 Flink 已經不像兩年那樣鮮有人問津,而是已經形成了巨大的社群,中國已經有騰訊、滴滴、美團等公司開始用 Flink 建造自己的流式計算引擎。

在這個社群裡,會有無數國內外大牛對 Flink 的程式碼做貢獻。建立在這個開源基座上的架構,也會發展得更快速。

至此,Blink 正式成為了阿里巴巴計算引擎的王牌軍。

Flink 社群逐漸聲勢浩蕩

(6)

王牌軍可不是白當的。

2017年雙十一,Blink 領到了自己的艱鉅任務——支援全集團(阿里巴巴、阿里雲、菜鳥)的流式計算任務。

王峰告訴我,其實2016年雙11 Blink 承擔的搜尋任務,已經是一個重頭戲,有過這個經歷墊底,再適配很多系統的時候只不過是麻煩一點而已。唯獨有一樣:Blink 要接管後臺所有的交易資料的實時計算任務。

交易資料計算,是淘寶天貓業務的最核心。也是支撐背後支付、物流的核心依據。

很多其他的計算都要基於訂單資料的結果。這就像麵包店的麵粉一樣,無論你做什麼蛋糕,都需要麵粉。如果麵粉的供應出問題,那整個麵包店就要關門了。所以無論面臨多大的訂單量,交易資料計算必須穩定、快速、實時。一旦出現錯誤,損失無可估量。

每年雙十一狂歡晚會上的那塊大螢幕上顯示的實時成交數字,也是由訂單資料彙總而成的。也就是說,如果 Blink 當天掛掉,不僅對淘寶天貓的運轉影響巨大,還會導致一個略為明顯的結果:成交量大屏一直維持“0”,一秒把人丟到全球無死角。

2014、2015、2016 這三年,這個核心任務都是由兄弟引擎 Galaxy 來承擔的。

所有人都想到一個穩妥的方案:2017年“雙11”讓 Blink 和準備退役的 Galaxy 來個雙備份,如果 Blink 臨時廢掉,還可以用 Galaxy 作為備份頂上,至少不會丟人。

然鵝,2016年雙11的成交量是1207億元,按照歷年經驗推測,2017年的成交量八成是會超過1500億的(事實證明確實如此,達到了1682億)。而根據 Galaxy 的技術架構,如果不做大量繁瑣的優化,很可能頂不住。

初出茅廬的 Blink,就這樣成為 2017 年雙11媒體大屏“全球指定唯一必須頂上不幹不行合作伙伴”。。。

雙11 當天,兩條 Blink 鏈路互為備份。“雖然成功率基本是100%,但萬里有一,假設 Blink 本身設計存在未知的缺陷,或者兩條備份鏈路的機器硬體同時壞掉,都可能導致災難。”蔣曉偉回憶。

在雙11到來前一週,王峰帶領兄弟們已經把 Blink 引擎調整到無以復加的好狀態。蔣曉偉想了想,又派同樣是 Facebook 回來的大牛工程師大沙去天竺法喜寺燒了一炷香。。。

2017年11月11日零點。狂歡現場。

時鐘敲響零點,然後出現五秒倒計時。按照流程,留給 Blink 的計算時間只有這五秒。也就是說,00:00:05 的時候,無論如何大螢幕都會切到 Blink 給出的雙11前五秒交易總額。

這五秒,幾乎是蔣曉偉人生當中最漫長的五秒。

1、2、3。。。

第三秒的時候,蔣曉偉面前的監視器跳出了實時成交資料!再兩秒之後,實時交易資料被投上大屏,穹頂之下,歡聲雷動。

蔣曉偉知道,現場觀眾並不一定理解大屏執行原理,內心也並沒有特地把一份掌聲送給幕後的流式計算引擎團隊。

但那一刻,他熱淚盈眶。這幾年兄弟們付出的努力值了。

gif;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAA168,269,635,159。每一個數字,對蔣曉偉和兄弟們都意味著歲月和付出。

(7)

經過兩年雙11的考驗,已經沒人懷疑 Blink 是阿里巴巴最強悍的計算引擎之一。

所以,不僅阿里巴巴集團所有用到流式計算的場景都會選用 Blink,Blink 還開始對外提供服務。雖然在蔣曉偉看來,各個場景的計算都可以用 Blink 來解決,但目前被應用最多的場景有如下幾個:

1、實時統計分析。

在電商行業,尤其是促銷的場景中,巨大的網路流量湧來,形勢變幻莫測。每一秒的庫存統計、訂單報表,都能揭示出使用者的行為規律。對這些資料進行實時分析,就能隨時調整促銷策略。

2、線上機器學習。

使用者的行為會展現出他的性格和偏好,用機器學習分析一個人瀏覽商品的姿勢,就能為他精準推薦可能感興趣的商品。

但是,可能一個使用者只瀏覽一分鐘,如果在這個時間段內沒有能夠吸引他的商品,它就會退出。所以必須在一秒鐘之內,對他剛才的動作進行實時學習,才能保證他第一時間看到感興趣的寶貝。

3、實時金融風控。

在金融領域,技術就是金錢。每成功阻斷一次欺詐交易,就等於挽回了真金白銀。通過對一個賬戶實時行為的分析,就可以知道現在它有沒有進行危險交易,從而在第一時間阻斷。

4、IoT 邊緣計算。

在工廠中,每臺生產線都會隨時產生資料,如果可以實時對這些資料進行分析,就可以減少生產線的損壞機率,提高產品的良品率。

根據引數實時調整生產線

如此,才有了開頭一幕所說:阿里雲承建的城市大腦,可以利用 Blink 來預測道路擁堵,為救護車開拓生命道路。

根據阿里雲首席科學家閔萬里博士的介紹:

2018年,城市大腦第一次出國,被部署在馬來西亞吉隆坡,把救護車到達現場的時間縮短了 48.9%。

藉助工業大腦,流式計算實時判斷生產線的健康狀況,幫助世界第一大光伏企業協鑫光伏提高了良品率1%,每年可以節省上億元的無謂浪費。

2018年12月20日,阿里巴巴將 Flink 的旗艦會議 Flink Foward 第一次引入中國,現場座無虛席。蔣曉偉、王峰和流式計算團隊的每一個人,在過去的三年都親眼見證了 Flink 從踽踽獨行到集結成軍。

Flink Forward 2018 北京

為了感謝社群的幫助,在這次會議上週靖人宣佈,在未來會把基於 Flink 修改的 Blink 流式計算引擎開源。從2019年1月開始,所有人都可以查閱這個支援了雙11、支援了城市大腦、支援了工業IoT等無數頂級計算的引擎程式碼。

也就是在這一年,王峰正式接替蔣曉偉,成為流式計算的新掌門。而蔣曉偉則朝著他的“完美夢想”更進一步,帶著一幫兄弟在此基礎上研究“帶有流式計算引擎的資料儲存系統”——互動式查詢系統,讓這個引擎能夠解決更多通用的計算問題。

帶有流式計算引擎的資料儲存系統,聽起來有些不知所云。其實,這個世界上最經典的這類系統,其實就是我們的大腦。

我們一生中會接受各種資訊,這些資訊共同構成大腦的資料庫,幫助我們預測未來。每當有新的資訊進來,我們都會根據這一點點資訊增量微調我們對於未來的預測。

這種調整,毫無疑問是實時的。我們的祖先不小心觸控野火,從那一刻開始就會告訴自己和家人小心火焰。

我們依靠對世界的萬億次反饋,發現了萬有引力,發現了相對論,發現了量子力學。

正是千萬人實時更新的預測能力,構成了我們的文明,也書寫了我們的歷史。

以前,所有關於未來的預測都在我們的腦海裡,如今,我們終於有機會在軀體之外,利用人類的武器——計算力——建造起一個碩大的預測引擎。

角落裡,這些技術英雄笑起來安靜而羞澀。但正因他們存在,人類面對未來,再也不是手無寸鐵。