大資料” 三個字其實是個marketing語言，從技術角度看，包含範圍很廣，計算、儲存、網路都涉及，知識點廣、學習難度高。

    

本期會給大家奉獻上精彩的：MongoDB、YARN 、mysql、實時流、Kakfa 、推薦系統、YARN和Mesos、spark、flink 。全是乾貨，希望大家喜歡！！！

#大資料和雲端計算技術社群#希望通過堅持定期分享能幫助同學在大資料學習道路上盡一份微博之力。相信長期堅持認真閱讀週報的同學，在技術的道路上一定會日益精進！感謝編輯們的長期堅持！也請同學們繼續打賞，支援社群，支援編輯們持續奉獻高質量知識！

#大資料和雲端計算技術社群#長期招募有興趣參與社群編輯和運營的同學，歡迎掃描文末二維碼聯絡（參與社群工作，收穫知識和進步，還有紅包哦）。

特別提醒，文末有驚喜！

以下是正文，限於眾編輯水平有限，不保證大家都喜歡。（如果連結不能點開  請用二維碼  謝謝）

１YARN

Apache Hadoop YARN （Yet Another Resource Negotiator，另一種資源協調者）是一種新的 Hadoop 資源管理器，它是一個通用資源管理系統，可為上層應用提供統一的資源管理和排程，它的引入為叢集在利用率、資源統一管理和資料共享等方面帶來了巨大好處。也就是說 YARN 在 Hadoop 叢集中充當資源管理和任務排程的框架。

https://mp.weixin.qq.com/s/b3tDbapZ54GDuVIFlH275A

2 mysql  

mysql分散式解決方案

https://mp.weixin.qq.com/s/McWCXGE8JsgHAz1V2liFHw

3 流計算 

Spark Streaming支援較高吞吐量，但是響應時間是秒級的；在需要吞吐量而對響應時間不太敏感的場景，會非常適用；支援Exactly Once語義，有完善的容錯機制；有很好的Spark生態和社群支援。

作為對比，Flink支援不錯的吞吐量同時，保證了毫秒級延遲；同時，視窗函式豐富，在追求響應時間和基於實時事件時間的場景非常適用；支援Exactly Once語義的基礎上也能保證很短的響應時間；採用巧妙設計來實現了容錯和高可用。社群支援和生態相對不足。

https://mp.weixin.qq.com/s/4Mvtv4cwunzEL4bamCDZhA

4Kakfa  

Kakfa 是如何保證訊息的高效及一致性呢？

正好以這個問題結合 Kakfa 的原始碼討論下如何正確、高效的傳送訊息。

https://mp.weixin.qq.com/s/97Db7tGNYrZUu-hxF512sw

5MongoDB

本文講述了MongoDB合理連線資源數、短連線、長(慢)請求問題處理、合理控制集合數量、

位置查詢的優化、副本集、索引建立問題等配置和日常執行問題的處理。。

https://yq.aliyun.com/articles/61760?utm_content=m_32943

6 分庫分表 

最近我們公司在做分庫分表，正好看到這篇文章，寫的挺好的，就分享給大家

https://mp.weixin.qq.com/s/nUtHelMW_az_9YT38dn8WQ

7推薦系統  

本文主要講解電商推薦系統的難點，系統架構設計和推薦流程設計

https://mp.weixin.qq.com/s/CqL7toqyCKes9VyvTo9uuA

8YARN和Mesos  

YARN是大多Spark應用的底層資源排程保障。而隨著Spark應用的逐漸加深，各種問題也隨之暴露出來，比如資源排程的粒度問題。為此，一場基於YARN和Mesos的討論被拉開。

https://mp.weixin.qq.com/s/MrQv_FMrYk7DBhtjuapjaA

9spark  

本文討論了三個典型的問題，包括調整shuffle partition數量，選擇最佳執行計劃和資料傾斜

https://mp.weixin.qq.com/s/mqhW21TU8V32x6-TVMAAvQ

10

Flink

  如何生成 StreamGraphFlink 原理與實現？如何生成 JobGraphFlink原理與實現？如何生成ExecutionGraph及物理執行圖 Flink的邏輯/執行計劃優化，有一個很大的特點就是，會將多個operator，串在一起作為一個operator chain來執行。本文詳細介紹Flink  Operator Chain原理

https://yq.aliyun.com/articles/225621?spm=a2c4e.11153940.blogcont225624.11.7c797f6bSzBHSd

11開心一刻   
 

諸葛亮是一個優秀的程式猿，每一個錦囊都是應對不同的case而編寫的！但是優秀的程式猿也敵不過更優秀的bug！六出祈山，七進中原，鞠躬盡瘁，死而後已的諸葛亮只因為有一個錯誤的case-馬謖，整個結構就被break了！

致謝：

周蓬勃、王在道、孫亞飛、馮藝帆、陳少軍、鄧開表、張少華、薛述強、劉彬、劉超、廖程鵬、董言、呂西金、朱潔、藍隨、黃文輝、郭飛、

猜你喜歡

#大資料和雲端計算機技術社群#部落格精選（2017）

NoSQL 還是 SQL ？這一篇講清楚

阿里的OceanBase解密

#大資料和雲端計算技術#: "四有"社群介紹

大資料和雲端計算技術週報（第56期）

新數倉系列：Hbase周邊生態梳理（1）

《大資料架構詳解》第2次修訂說明

簡單梳理跨資料中心資料庫

雲觀察系列：漫談運營商公有云發展史

雲觀察系列：百度雲的一波三折

雲觀察系列：阿里雲戰略觀察

超融合方案分析系列（7）思科超融合方案分析

加入技術討論群

《大資料和雲端計算技術》社群群人數已經3000+，歡迎大家加下面助手微信，拉大家進群，自由交流。

喜歡QQ群的，可以掃描下面二維碼：

歡迎大家通過二維碼打賞支援技術社群（英雄請留名，社群感謝您，打賞次數超過108+）：