Teradata在過去的二十年為eBay提供了非常優秀的數倉服務，支撐起了eBay龐大的業務規模。二十多年積累下來的資料已經將資料倉庫變得非常龐大，所謂“牽一髮而動全身”，哪怕只是微小的改動也會牽涉大量資料和業

在Spark開發中，有時為了更好的效率，特別是涉及到關聯操作的時候，對資料進行重新分割槽操作可以提高程式執行效率（很多時候效率的提升遠遠高於重新分割槽的消耗，所以進行重新分割槽還是很有價值的）。

此文已由作者嶽猛授權網易雲社群釋出。 歡迎訪問網易雲社群，瞭解更多網易技術產品運營經驗。 2.Spark Streaming架構及特性分析 2.1 基本架構 基於是spark c

場景 現在有如下資料格式 圖書分類，圖書名，數量 現在想統計全部分類中數量最多的書名以及數量 場景解析 如果不基於spark，我們來思考這個問題，資料量大記憶體是放不下，分類也

1、spark Streaming是一個微批處理的框架 2、批處理時間間隔 batchInterval >> 表示在batchInterval時間內Spark 所接收的資料被當做一個批次做

這是崔斯特的第六十七篇原創文章 在開始正式資料處理之前，我覺得有必要去學習理解下UDF。 UDF UDF全稱 User-Defined Functions ，使用者自定義函式，是Sp

Spark Streaming核心概念與程式設計 1. 核心概念 StreamingContext Create StreamingContext import

最近兩年流式計算又開始逐漸火了起來，說到流式計算主要分兩種：continuous-based 和 micro-batch。最近在使用基於 micro-batch 模式的 Spark Streaming

本文內容參考《Spark與Hadoop大資料分析》[美]文卡特·安卡姆 著；《大資料架構詳解 從資料獲取到深度學習》 朱潔 羅華霖 著。 大資料生態的兩個主要部分是Hadoop軟體框架和Spark記憶體級計

部落格地址： joey771.cn/2018/10/25/… spark的執行原理在大資料開發崗面試過程中是經常被問到的一個問題，我第一次被問到這個問題的時候有點摸不著頭腦，這麼大的一個問題我究竟應該怎

這是崔斯特的第六十六篇原創文章 大資料的學習經歷 大資料是什麼，我覺得應該有這麼幾步： 資料採集（Python&&Scrapy） 資料清洗（Scala&a

Apache spark2.1.0 編譯 hadoop-2.6-cdh5.11.2 的對應版本 搞了兩天，終於把spark編譯成功了，把編譯過程記錄一下 編譯失敗的坑： 1）linux記憶體不足，m

一.基礎知識 1.Spark Spark是一個用來實現快速而通用的叢集計算的平臺。 在速度方面，Spark擴充套件了廣泛使用的MapReduce計算模型，而且高效地支援更多計算模式，包括互動式查詢和

前言 Apache Spark是目前最為流行的大資料計算框架，與Hadoop相比，它是替換MapReduce元件的不二選擇，越來越多的企業正在從傳統的MapReduc

MLlib 是 Apache Spark 的可擴充套件機器學習庫，旨在簡化機器學習的工程實踐工作，並方便擴充套件到更大規模的資料集。  /機器學習簡介 /  在深入介紹 Spark MLlib