Sloth：網易流計算服務化平臺架構實踐

阿新 • • 發佈：2019-02-04

網易經歷了多年的發展，眾多業務線沉澱了豐富的資料。大資料平臺除了滿足各業務線的資料儲存、計算需求，還負責集團資料整合，提供全方位的大資料服務。

本文PPT重點分享網易大資料基於Flink研發的流計算服務化平臺Sloth，以SQL為主要開發方式，支援DDL，支援豐富的DML，如Join、Window，支援UDF，提供豐富的Connector，支援任務級聯。為網易各業務線提供一站式的流計算解決方案。

下面是完整PPT：（點選下面 閱讀原文 連結獲取本文PPT）

640?wx_fmt=jpeg&wxfrom=5&wx_lazy=1

0?wx_fmt=jpeg

PPT下載：http://cdn.iteblog.com/595f5e8b6b90b.pdf

https://www.iteblog.com/595f5e8b6b90b.pdf

Sloth：網易流計算服務化平臺架構實踐

網易經歷了多年的發展，眾多業務線沉澱了豐富的資料。大資料平臺除了滿足各業務線的資料儲存、計算需求，還負責集團資料整合，提供全方位的大資料服務。本文PPT重點分享網易大資料基於Flink研發的流計算服務化平臺Sloth，以SQL為主要開發方式，支援DDL，支援豐富的DML，如Join、Window，支援UD

第二次作業：網易雲音樂案例分析

他也 center 大學 www. 榜單粉絲很好無法使用內容你選擇的產品是？網易雲音樂為什麽選擇該產品作為分析？自己非常喜歡聽音樂，用過了網易雲音樂之後，覺得很好用。該產品是怎麽誕生的（在什麽樣的背景下）？

第2次作業：網易雲音樂軟件簡單分析

部分同時存在其他 arc family inux 在線搜索 www. 1介紹產品相關信息（1）你選擇的產品是？網易雲音樂（2）為什麽選擇該產品作為分析？網易雲音樂在我下載使用兩天之後便能夠讓我毅然決然地卸載掉了使用十多年的酷狗音樂（3）該產品是怎麽誕生的（在

模板：網絡流最大流

pty ++ 網絡 turn 算法 sizeof 模板 urn ems Edmonds-Karp算法： 1 //Edmonds-Karp算法 2 3 const int INF=0x3f3f3f3f; 4 int n,m,s,t,Map[N][N],p

洛谷2765：[網絡流24題]魔術球問題——題解

num void 答案 algo main cnblogs print 鏈表 log https://www.luogu.org/problemnew/show/P2765#sub 假設有n根柱子，現要按下述規則在這n根柱子中依次放入編號為1，2，3，...的球。

學習筆記：網絡流

edge ++ 當前部分最簡註意 9.png 區間 cost 網絡流網絡流是省選必備算法啊……早就想學了但一直沒空……現在學習一下順便做做筆記（PS：STO%%%手搓網絡流的bGary大佬）網址

教育科技化大旗下的彩蛋：網易精耕主義

網易教育誰在分割萬億市場的蛋糕？近年來，我國一直在實施穩健增長的人口政策，加上消費結構的優化升級，恩格爾系數不斷降低，教育文化等產品日益成為主要消費項目。從人口增長和消費能力這些基礎條件看來，教育市場的增長動因在未來幾年內都不會減弱，也就意味著教育產業在未來一段時間內都會源源不斷的湧入熱錢。就拿針對青少年的K

在Ubuntu上學習OpenStack之九：網絡（計算）節點上網絡補充配置

分享 ini onf stack -a ubunt con openstac bubuko （註意：前面已經為計算+網絡節點配置了兩塊網卡eth0和eth1） v 執行如下命令： sudo ovs-vsctl add-br br-eth1 sudo ovs-vsctl ad

2018中國雲原生使用者大會：網易雲深度解析微服務框架

近日，由才雲科技、K8sMeetup 中國社群、Kubeflow 中國社群聯合主辦的 2018 中國雲原生使用者大會在杭州白馬湖建國飯店舉辦，大會集結了來自各個行業領域的雲原生技術專家、雲原生技術落地企業代表、以及雲原生技術愛好者們，為國內市場帶來了全球最新技術動態與趨勢分析，推進雲原生與企業 IT

揭祕：網易運營、產品日常工作都在用的14大神器

在這個眼球聚焦點快速切換的移動網際網路時代，突破使用者的心智，建立自身的產品品牌，是每個產品人、運營人不變的主題。前幾天，朋友圈又被一張大紅海報刷屏了，就是那個“網易課程戲精來啦”。為什麼網易屢屢刷屏，他們的產品和運營日常都在使用哪些產品運營工具來提升辦公效率呢？今天就為大家揭祕：網易運營、產品日常工

基於OGG和Datahub的阿里流計算Flink平臺簡介

平臺簡介在傳統的資料處理流程中，總是先收集資料，然後再把資料放到DB中，等到需要的時候再進行相關處理，這種模式不適合某些需要實時資料的應用平臺，例如稅務的實時申報率，這種採用MR等離線處理並不能很好的解決問題，於是新的資料計算結構：Flink流計算應時而生，它可以對大規模流動資料在不斷變化

名企筆試：網易遊戲2017招聘筆試題（調整隊形）

網易遊戲2017招聘筆試題（調整隊形）題意：在幼兒園有n個小朋友排列為一個隊伍，從左到右一個挨著一個編號為(0~n-1)。其中有一些是男生，有一些是女生，男生用’B’表示，女生用’G’表示。小朋

名企筆試：網易遊戲2017招聘筆試題（趕去公司）

網易遊戲2017招聘筆試題（趕去公司）題意：終於到週末啦！小易走在市區的街道上準備找朋友聚會，突然伺服器發來警報,小易需要立即回公司修復這個緊急bug。假設市區是一個無限大的區域，每條街道假設座標是(X，Y)，小易當前在(0，0)街道，辦公室在(gx,g

直播攻略：網易視訊雲送上OBS直播完整版教程

OBS是什麼？ OBS是一款直播串流軟體，中文無廣告，完全免費，含32位與64位版本，通吃各種電腦，支援MAC的OS X系統。各大平臺都有自己的直播軟體了還需要用OBS麼？因為，當前平臺直播軟體存在以下兩個方面問題： 1功能缺失，對採集卡，攝像頭，螢幕擷取，位元速率設定

[2018]試卷：網易2018校園招聘程式設計題真題集合

[程式設計題] 魔法幣小易準備去魔法王國採購魔法神器,購買魔法神器需要使用魔法幣,但是小易現在一枚魔法幣都沒有,但是小易有兩臺魔法機器可以通過投入x(x可以為0)個魔法幣產生更多的魔法幣。魔法機器1:如果投入x個魔法幣,魔法機器會將其變為2x+1個魔法幣

2017.04.18：網易2017校招資料分析開放題

1.異常值檢測原因： (1)資料來源於不同的類：某個資料物件可能不同於其他資料物件(即異常)，因為它術語一個不同的型別或類。Hawkins的離群點定義：離群點是一個觀測值，它與其他觀測值的差別如此之大，以至於懷疑它是由不同的機制產生的。 (2)自然變異：許多資料集可以用一

斯坦福機器學習：網易公開課系列筆記（五）——高斯判別分析、樸素貝葉斯

高斯判別分析(Gaussian discriminant analysis) 判別模型和生成模型前面我們介紹了Logistic迴歸，通過學習hΘ(x)來對資料的分類進行預測：給定一個特徵向量x→輸出分類y∈{0,1}。這類通過直接

Pomelo（一）：網易開源基於 Node.js 的遊戲服務端框架

　　Pomelo 是基於 Node.js 的高效能、分散式遊戲伺服器框架。它包括基礎的開發框架和相關的擴充套件元件（庫和工具包），可以幫助你省去遊戲開發枯燥中的重複勞動和底層邏輯的開發。Pomelo 不但適用於遊戲伺服器開發，也可用於開發高實時 Web 應用，它的分散式架構可以使 Pomelo 比普通

python爬蟲二：網易部落格的圖片

下面講解我的爬蟲程式：在D:\wa中新建一個記事本檔案1.txt，把所有的網易部落格的連結（注意，是一篇部落格的連結，不是目錄頁面的連結）都放進去，每個佔一行，然後執行程式把每篇部落格的圖片全部下載

Python資料視覺化：網易雲音樂歌單

網易雲音樂2018年度聽歌報告—遇見你，真好。相信有不少人在上週，應該已經看過自己網易雲音樂的年度報告了。小F也是去湊湊熱鬧，瞅了一波自己的年度聽歌報告。那麼你在雲村又聽了多少首歌，聽到最多的歌詞又是什麼呢？ 2018年你的年度歌手又是誰，哪些又是你最愛的歌呢？不過相比去

Sloth：網易流計算服務化平臺架構實踐

相關推薦