本篇部落格主要是 sparksql 從初始開發注意的一些基本點以及力所能及的可優化部分的介紹： 所使用spark版本：2.0.0       scala版本：2.11.8 1. SparkSessio

在實際生產環境中已經形成了離線以Hive為主，Spark為輔, 實時處理用Flink的大資料架構體系及Impala, Es，Kylin等應用查詢引擎 但是有很多學習Spark的程式員普遍認為Spark必然會

健身前後對比 健身回來的路上，看到微信群裡聊技術，一群有問了一個神奇的問題，具體可以看如下截圖： 哥們給出的結論是repartition導致的資料傾斜，我給他詳細的回覆了說明了不

原標題 端遊穩增手遊爆發盛躍網路估值298億元擬迴歸A股 記者 施 露 11月6日晚，世紀華通回覆深交所問詢函，就盛躍網路（盛大遊戲的母體，囊括盛大遊戲所有資產）盛躍網路注入上市公司是否涉及重組上市等疑

本套系列部落格從真實商業環境抽取案例進行總結和分享，並給出Spark商業應用實戰指導，請持續關注本套部落格。版權宣告：本套Spark商業應用實戰歸作者（秦凱新）所有，禁止轉載，歡迎學習。 Spar

（原标题：32亿收购公号案拟终止 瀚叶股份一周三跌停A股为何“不欢迎”微信公众号） 上周，瀚叶股份拟出资32亿元收购量子云100%股权的计划宣告终止。之前，因估值暴涨量子云遭到市场的激烈质疑，同时量子云能否

在使用 Spark SQL 的過程中，經常會用到 groupBy 這個函式進行一些統計工作。但是會發現除了 groupBy 外，還有一個 groupByKey（注意RDD 也有一個 groupByKe

圖片來源於圖蟲創意 【芥末堆注】芥末堆週末特刊，集結本週最新訊息，帶你洞悉本週教育行業動態，快速縱覽教育行業新觀點。 本週懶人週末的關鍵詞是 資本 、 政策 。 資本方面，本週職業教育

點選上方藍字關注【 北郵郭大寶 】 最近實習需要開發一套Spark Streaming的實時流處理專案，內心還是很期待的。說來慚愧，做大資料開發實習一年有餘了，都是離線批處理的任務，還沒親自操

Broadcast Variables（廣播變數） Broadcast variables allow the programmer to keep a read-only variable cached o

Teradata在過去的二十年為eBay提供了非常優秀的數倉服務，支撐起了eBay龐大的業務規模。二十多年積累下來的資料已經將資料倉庫變得非常龐大，所謂“牽一髮而動全身”，哪怕只是微小的改動也會牽涉大量資料和業

【編者按】家居產業鏈條相對複雜，賣場、製造商、經銷商三者在利潤角逐中誰的集中度更高誰就能獲得更大的話語權。未來，在家居賣場依舊保持明顯的發展優勢下，新一輪的變革或許會由家居賣場率先發起。 此文發於

當A股 和新三板市場陷入低迷市時，再融資也同樣降溫。21世紀經濟報道統計資料顯示，三季度期間，A股和新三板定增數量規模出現較大幅度下滑，其中A股下跌近四成，新三板下跌近七成。 不過，股市流動性困局

在Spark開發中，有時為了更好的效率，特別是涉及到關聯操作的時候，對資料進行重新分割槽操作可以提高程式執行效率（很多時候效率的提升遠遠高於重新分割槽的消耗，所以進行重新分割槽還是很有價值的）。

此文已由作者嶽猛授權網易雲社群釋出。 歡迎訪問網易雲社群，瞭解更多網易技術產品運營經驗。 2.Spark Streaming架構及特性分析 2.1 基本架構 基於是spark c