本期會給大家奉獻上精彩的：MongoDB、spark 、Flink、資料處理、ETL、知識圖譜、Hbase、資料連線池、Redis 。全是乾貨，希望大家喜歡！！！

#大資料和雲端計算技術社群#希望通過堅持定期分享能幫助同學在大資料學習道路上盡一份微博之力。相信長期堅持認真閱讀週報的同學，在技術的道路上一定會日益精進！感謝編輯們的長期堅持！也請同學們繼續打賞，支援社群，支援編輯們持續奉獻高質量知識！

#大資料和雲端計算技術社群#長期招募有興趣參與社群編輯和運營的同學，歡迎掃描文末二維碼聯絡（參與社群工作，收穫知識和進步，還有紅包哦

特別提醒，文末有驚喜！

以下是正文，限於眾編輯水平有限，不保證大家都喜歡。（如果連結不能點開  請用二維碼  謝謝）

通過使用實時數倉代替原有流程，將資料生產中的各個流程抽象到實時數倉的各層當中。實現了全部實時資料應用的資料來源統一，保證了應用資料指標、維度的口徑的一致。在幾次資料口徑發生修改的場景中，我們通過對倉庫明細和彙總進行改造，在完全不用修改應用程式碼的情況下就完成全部應用的口徑切換。在開發過程中通過嚴格的把控資料分層、主題域劃分、內容組織標準規範和命名規則。使資料開發的鏈路更為清晰，減少了程式碼的耦合。再配合上使用 Flink SQL 進行開發，程式碼加簡潔。單個作業的程式碼量從平均 300+ 行的 Java 程式碼 ，縮減到幾十行的 SQL 指令碼。專案的開發時長也大幅減短，一人日開發多個實時資料指標情況也不少見

https://mp.weixin.qq.com/s/PJmdXkdUE5gtzcYAgAM8wQ

2.0的小物件值得看一下

https://mp.weixin.qq.com/s/3Bhwn-019LcpkuUxNAfkAw

本文講述了MongoDB+Spark完整的大資料解決方案，並對比Spark+HDFS生態系統和Spark+MongoDB生態系統，MongoDB和HDFS差異點，以及Spark+MongoDB的成功案例；

https://www.cnblogs.com/hanson1/p/7105288.html

在大資料平臺，隨著業務發展，每天承載著成千上萬的 ETL 任務排程，這些任務的形態各種各樣。怎麼樣讓大量的 ETL 任務準確的完成排程而不出現問題，來自蘇寧大資料離線任務開發排程平臺實踐

給了我們答案。

https://mp.weixin.qq.com/s/JldOezubf5qW1YuFxJuWvQ

億級PV，常見效能優化策略總結與真實案例

hhttps://mp.weixin.qq.com/s/rpSMOieVEQ9r3f55WlvkLQ

本文主要介紹搜尋演算法團隊在58搜尋列表上的連線效率優化實踐

https://mp.weixin.qq.com/s/5G9opZHkkvYuiHI2FDfyEQ

美團 AI 平臺部 NLP 中心負責人、大眾點評搜尋智慧中心負責人王仲遠博士受邀在 AI 科技大本營做了一期線上分享，為大家講解了美團大腦的設計思路、構建過程、目前面臨的挑戰，以及在美團點評中的具體應用與實踐，其內容整理如下

https://mp.weixin.qq.com/s/u7mvxrvudKmjX4KeGtBiWA

本文是範大神關於如何高效系統的學習一門技術的個人總結，覺得非常到位，分享給大家。

https://mp.weixin.qq.com/s/3Bhwn-019LcpkuUxNAfkAw

我們天天都在使用 Redis 內建的命令列工具 redis-cli，久而久之以為它就是一個簡單的互動式 Redis 資料結構手工操作程式，但是它背後強大的功能絕大多數同學可能聞所未聞。本節我們一起來挖掘這些鮮為人知的有趣用法。

資料庫連線池在Java資料庫相關中介軟體產品群中，應該算是底層最基礎的一類產品，作為企業應用開發必不可少的元件。（這周寫了個小工程模擬監控資料的插入，以及模擬ttl，因為是模擬所以用了mysql，當然理論上不應該用關係資料庫做這個。隨便用了個c3p0的連線池，無論如何調引數，多執行緒下，資料庫經常死鎖或者連線不能很好釋放，然後就查了幾篇文章，換了阿里的druid，效能果然好了很多。所以把這個簡介分享一下）

https://mp.weixin.qq.com/s/Ng_7yUY-acbuIF88YIGjsg

"你每天的工作就是摁電腦啊?"
---一親戚這樣問我。
"嗯."
---我回答。

後來這親戚又問我:"你一個摁電腦的怎麼這麼能掙錢呢？”

某天，我被這親戚鄙視了：“你摁電腦的速度都不如我快！”

致謝：

周蓬勃、王在道、孫亞飛、馮藝帆、陳少軍、鄧開表、張少華、薛述強、劉彬、劉超、廖程鵬、董言、呂西金、朱潔、藍隨、黃文輝、郭飛、

猜你喜歡

大資料和雲端計算技術週報（第56期）

加入技術討論群

《大資料和雲端計算技術》社群群人數已經3000+，歡迎大家加下面助手微信，拉大家進群，自由交流。

喜歡QQ群的，可以掃描下面二維碼：

歡迎大家通過二維碼打賞支援技術社群（英雄請留名，社群感謝您，打賞次數超過108+）：