spark-submit提交包是在伺服器上，本地開發環境沒有spark-submit。如果想要本地debug遠端的spark，用idea很簡單就可以實現。 1，idea配置 idea d

本套技術專欄是作者（秦凱新）平時工作的總結和昇華，並深度整理大量網上資源和專業書籍。通過從真實商業環境抽取案例進行總結和分享，並給出商業應用的調優建議和叢集環境容量規劃等內容，請持續關注本套部落格。QQ郵箱地址

MaxCompute Spark 開發指南 0. 概述 本文件面向需要使用 MaxCompute Sp

一個真正的微服務是一個非常輕薄的程式，只有一個函式具有自己的資料庫（如果有必要）和非常小的記憶體佔用......在Java中可能嗎？ 問題 我已經使用Spring Framework多年了，

spark運算元分為兩大種，一種是 transformation運算元，另一種是 action運算元。 transformation又叫轉換運算元，它從一個 RDD

Spark從2.3版本開始引入了持續流式處理模型，可將流處理延遲降低至毫秒級別，讓 Structured Streaming 達到了一個里程碑式的高度。 下面的架構圖中，既有微批處理，還有持續流處理，兩種模

spark從1.6開始引入，到現在2.4版本，pivot運算元有了進一步增強，這使得後續無論是交給pandas繼續做處理，還是交給R繼續分析，都簡化了不少。大家無論在使用pandas、numpy或是R的時候，首

Pivot 運算元是 spark 1.6 版本開始引入的，在 spark2.4版本中功能做了增強，還是比較強大的 ，做過資料清洗ETL工作的都知道，行列轉換是一個常見的資料整理需求。spark 中的Pivot

美國時間 2019 年 2 月 5 日凌晨，由 Apache Spark 創始成員成立的人工智慧初創公司 Databricks 宣佈完成 E 輪融資，本輪融資由美國私人風投公司 Andreessen Ho

“ Spark推薦排序系列文章之GBDT（梯度提升決策樹）介紹” 01 — 前言 【Spark排序算法系列】主要介紹的是目前推薦系統或者廣告點選方面用的比較廣的

在機器學習領域，梯度下降演算法分為三種 批量梯度下降演算法（BGD，Batch gradient descent algorithm） 隨機梯度下降演算法（SGD，Stocha

前言 今天朋友圈有篇【阿里技術】發的文章，說Blink的效能如何強悍，功能現在也已經比較完善。譬如： Blink 在 TPC-DS 上和 Spark 相比有著非常明顯的效能優勢，而且這種效能

前言 在前一陣，Spark官方釋出了標題為《CVE-2018-17190: Unsecured Apache Spark standalone executes user code》的安全公告。 公告中

行列之間的互相轉換是ETL中的常見需求，在Spark SQL中，行轉列有內建的PIVOT函式可用，沒什麼特別之處。而列轉行要稍微麻煩點。本文整理了2種可行的列轉行方法，供參考。 本文連結：http

經常有人拿Ignite 和Spark 進行比較，然後搞不清兩者的區別和聯絡。Ignite 和 Spark，如果籠統歸類，都可以歸於記憶體計算平臺，然而兩者功能上雖然有交集，並且 I