1. 程式人生 > >大資料和雲端計算技術週報(第74期)

大資料和雲端計算技術週報(第74期)

大資料” 三個字其實是個marketing語言,從技術角度看,包含範圍很廣,計算、儲存、網路都涉及,知識點廣、學習難度高。

本期會給大家奉獻上精彩的:MongoDB、spark 、混部署、分散式協議、oracle、機器學習、Hbase、flink 。全是乾貨,希望大家喜歡!!!

#大資料和雲端計算技術社群#希望通過堅持定期分享能幫助同學在大資料學習道路上盡一份微博之力。相信長期堅持認真閱讀週報的同學,在技術的道路上一定會日益精進!感謝編輯們的長期堅持!也請同學們繼續打賞,支援社群,支援編輯們持續奉獻高質量知識!

#大資料和雲端計算技術社群#長期招募有興趣參與社群編輯和運營的同學,歡迎掃描文末二維碼聯絡(參與社群工作,收穫知識和進步,還有紅包哦

)。

特別提醒,文末有驚喜!

以下是正文,限於眾編輯水平有限,不保證大家都喜歡。(如果連結不能點開  請用二維碼  謝謝

1Spark

Spark作為大資料計算引擎,憑藉其快速、穩定、簡易等特點,快速的佔領了大資料計算的領域。本文主要為作者在搭建使用計算平臺的過程中,對於Spark的理解,希望能給讀者一些學習的思路。文章內容為介紹Spark在DataMagic平臺扮演的角色、如何快速掌握Spark以及DataMagic平臺是如何使用好Spark的。

https://mp.weixin.qq.com/s/NuxCd2dpgYbj2T-faVPcUw

640?wx_fmt=png

2混部署 

混部署技術

https://mp.weixin.qq.com/s/sUWy60vL-pEt5fE5PGGrww

640?wx_fmt=png

3MongoDB 

本文講述了在一次MongoDB故障中,發現由MongoDB主從複製的延遲而影響到業務的問題,以及通過對通過對db.printSlaveRepeReplicationInfo()結果的獲取邏輯解析和驗證得出造成MongoDB主從複製延遲的主要原因、及相應的避免措施。

640?wx_fmt=png

4分散式協議 

分散式系統中常見協議 大家可以瞭解下

https://mp.weixin.qq.com/s/M3GtZ-6p7FWgyCKmRO-FyA

640?wx_fmt=png

5機器學習

最近幾周把線性代數系統複習了一下。對應找了這篇文章。線性代數總體上包括行列式,矩陣,向量,線性方程,非線性方程,二次型。在無論是SVD PCA 甚至是梯度下降的推導中都有涉及。這篇文章中講述的線性代數在機器學習中的應用是相對比較直觀的,可供複習參考。

https://mp.weixin.qq.com/s/5qEiK8Fo3N8n7en5jT10xg

640?wx_fmt=png

6Flink 

Flink 是一種非常複雜的框架,它提供了多種調整其執行的方法。本文將介紹四種不同的方法來提升你的 Flink 應用程式的效能

https://www.iteblog.com/archives/2303.html

640?wx_fmt=png

7Redis 

該文總結並演示了 Redis 的 常用管理命令、key 操作、字串、集合、列表、雜湊型別的操作命令 清晰易懂

https://mp.weixin.qq.com/s/k-yBobqsm0kOzdhcrM-jmg

640?wx_fmt=png

8

資料庫

 

在關係資料庫中,除了查詢優化器之外,查詢排程器和計劃執行器是兩個同等重要的模組,並且隨著計算機硬體的發展,他們的重要性越發彰顯。

https://mp.weixin.qq.com/s/tD7pTVBiuzAEZ1rV9orbUQ

640?wx_fmt=png

9Hbase 

本文主要在建表時進行預分割槽,充分考慮rowkey的分佈做出合理的預分割槽方案,來提高在資料量大、訪問量大,或被批處理程式的讀寫效能

640?wx_fmt=png

10高可用 

對於訪問量或者資料量都是呈指數級別地上升的情況下如何保證高可用

https://mp.weixin.qq.com/s/rqP54fB0UlXChIW2gBYQnQ

640?wx_fmt=png

11開心一刻 

男人要記住,與女人吵架的要領是,要像在安裝軟體或註冊網站時閱讀“服務條款”那樣,直接忽略所有的內容,到最後面勾選“我同意”,然後點選“確定”。

致謝:

周蓬勃、王在道、孫亞飛、馮藝帆、陳少軍、鄧開表、張少華、薛述強、劉彬、劉超、廖程鵬、董言、呂西金、朱潔、藍隨、黃文輝、郭飛、

猜你喜歡

大資料和雲端計算技術週報(第56期)

加入技術討論群

《大資料和雲端計算技術》社群群人數已經3000+,歡迎大家加下面助手微信,拉大家進群,自由交流。

640?wx_fmt=jpeg

喜歡QQ群的,可以掃描下面二維碼:

640?wx_fmt=jpeg

歡迎大家通過二維碼打賞支援技術社群(英雄請留名,社群感謝您,打賞次數超過108+):

640?wx_fmt=jpeg