美國時間 2019 年 2 月 5 日凌晨，由 Apache Spark 創始成員成立的人工智慧初創公司 Databricks 宣佈完成 E 輪融資，本輪融資由美國私人風投公司 Andreessen Ho

“ Spark推薦排序系列文章之GBDT（梯度提升決策樹）介紹” 01 — 前言 【Spark排序算法系列】主要介紹的是目前推薦系統或者廣告點選方面用的比較廣的

在機器學習領域，梯度下降演算法分為三種 批量梯度下降演算法（BGD，Batch gradient descent algorithm） 隨機梯度下降演算法（SGD，Stocha

前言 今天朋友圈有篇【阿里技術】發的文章，說Blink的效能如何強悍，功能現在也已經比較完善。譬如： Blink 在 TPC-DS 上和 Spark 相比有著非常明顯的效能優勢，而且這種效能

前言 在前一陣，Spark官方釋出了標題為《CVE-2018-17190: Unsecured Apache Spark standalone executes user code》的安全公告。 公告中

行列之間的互相轉換是ETL中的常見需求，在Spark SQL中，行轉列有內建的PIVOT函式可用，沒什麼特別之處。而列轉行要稍微麻煩點。本文整理了2種可行的列轉行方法，供參考。 本文連結：http

經常有人拿Ignite 和Spark 進行比較，然後搞不清兩者的區別和聯絡。Ignite 和 Spark，如果籠統歸類，都可以歸於記憶體計算平臺，然而兩者功能上雖然有交集，並且 I

Apache Spark 是一個圍繞速度、易用性和複雜分析構建的大資料處理框架，最初在2009年由加州大學伯克利分校的AMPLab開發，並於2010年成為Apache的開源專案之一，與Hadoop和Storm

一、Spark單機版安裝 Spark部署模式主要是四種：Local模式（單機模式，是本文講的方式，僅供熟悉Spark和scala入門用）、Standalone模式（使用Spark自帶的簡單叢集管理器

“本文分析SparkSQL ThriftServer工作原理，修改Spark SQL原始碼並實現了SQL 查詢進度的計算,最後展示了一點資訊基於Presto+SparkSQL+Hive的Web查詢引擎”

版權宣告：本套技術專欄是作者（秦凱新）平時工作的總結和昇華，通過從真實商業環境抽取案例進行總結和分享，並給出商業應用的調優建議和叢集環境容量規劃等內容，請持續關注本套部落格。QQ郵箱地址：1120746959@

spark jar 本非方式執行 首先我們通過幫助命令來看spark 如何提交執行jar包 spark-submit --help image.png s

版權宣告：本套技術專欄是作者（秦凱新）平時工作的總結和昇華，通過從真實商業環境抽取案例進行總結和分享，並給出商業應用的調優建議和叢集環境容量規劃等內容，請持續關注本套部落格。QQ郵箱地址：1120746959@

對於一個具有相當技術門檻與複雜度的平臺，Spark從誕生到正式版本的成熟，經歷的時間如此之短，讓人驚詫。2009年，Spark誕生於伯克利大學AMPLab，於2010年正式開源，2013年成為了Apache基金

背景 有一個系統的業務正在膨脹中，某一些報表（報表資料在mysql中）資料量增長比較厲害，報表頁面已經處於卡爆了 的狀態。中間經過mysql本身的優化，已經到了當前系統架構+儲存模型的