開源大資料週刊-第105期
資訊
10月29日訊息,IBM和Red Hat(紅帽)共同宣佈,兩家公司已達成最終協議,根據該協議,IBM將收購Red Hat所有已發行的普通股。每股190.00美元現金,總企業價值約340億美元。 這意味著,Red Hat將被IBM正式收購。收購完成後,Red Hat將被併入IBM的混合雲部門。
- Hadoop真的要死了嗎?
Cloudera 和 Hortonworks 的合併受到了大資料社群的歡迎,甚至連華爾街都對這個訊息感興趣。但隨著這種喜悅的散去,一些人開始提出一些相當尖銳的問題,比如合併是否意味著 Hadoop 的死亡。 本文作者 Alex Woodie 卻認為,答案可能是否定的。
今天開發人員終於夢想成真了,這歸功於瑞典斯德哥爾摩KTH皇家理工學院的馬丁•蒙佩盧斯(Martin Monperrus)及其同仁所做的工作。這些研究人員最終開發出了一款機器人,它在尋找缺陷並編寫高質量的補丁方面與人類開發人員相比毫不遜色。
技術
- 基於TensorFlow Serving的深度學習線上預估
本文首先介紹下美團平臺使用者增長組業務場景及離線訓練流程,然後主要介紹使用TensorFlow Serving部署WDL模型到線上的全過程,以及如何優化線上服務效能。
近日,谷歌 AI 的一篇 NLP 論文引起了社群極大的關注與討論,被認為是 NLP 領域的極大突破。谷歌大腦研究科學家 Thang Luong Twitter 表示,這項研究開啟了 NLP 領域的新時代。該論文介紹了一種新的語言表徵模型 BERT——來自 Transformer 的雙向編碼器表徵。BERT 是首個在大批句子層面和 token 層面任務中取得當前最優效能的基於微調的表徵模型,其效能超越許多使用任務特定架構的系統,重新整理了 11 項 NLP 任務的當前最優效能記錄。 剛剛,谷歌正式將其開源!
Uber 致力於在全球市場上提供更安全、更可靠的交通工具。隨著時間的推移,產生了超過 100PB 的分析資料,這些資料需要通過基於 Hadoop 的大資料平臺以最小的延遲來清理、儲存並提供服務。在本文中,我們將深入瞭解 Uber 的 Hadoop 平臺,並討論下一步如何擴充套件這個豐富而複雜的生態系統。
本文翻譯自《Streaming System》最後一章《The Evolution of Large-Scale Data Processing》,在探討流式系統方面本書是市面上難得一見的深度書籍,非常值得學習。
版權宣告: 資訊都是來自網際網路,如果侵權,請聯絡我們,我們負責刪除。
阿里雲E-Mapreduce團隊出品