Spark學習筆記：初識Spark
=。=
// 將users中的vertex屬性新增到graph中，生成graph2
// 使用joinVertices操作，用user中的屬性替換圖中對應Id的屬性
// 先將圖中的頂點屬性置空
val graph2 = graph.mapVertices((id, attr) => "").joinVertices(users){(vid, empty, user) => user} 相關推薦
Spark學習筆記：初識Spark
=。= // 將users中的vertex屬性新增到graph中，生成graph2 // 使用joinVertices操作，用user中的屬性替換圖中對應Id的屬性 // 先將圖中的頂點屬
Spark學習筆記：DStream基本工作原理
DStream基本工作原理 DStream是Spark Streaming提供的一種高階抽象，英文全稱為Discretized Stream，中文翻譯為離散流，它代表了一個持續不斷的資料流。DStream可以通過輸入資料來源（比如從Flume、Kafka中）來建立，也可以通
Spark學習筆記：基於Socket的實時計算WordCount
基於Socket的實時計算WordCount Socket簡述 Socket（套接字），用來描述IP地址和埠，是通訊鏈的控制代碼，應用程式可以通過Socket向網路傳送請求或者應答網路請求。Socket是支援TCP/IP協議的網路通訊的基本操作單元，是對網路通訊過程中端點
Spark學習筆記：基於HDFS的實時計算WordCount
基於HDFS的實時計算WordCount 基於HDFS檔案的實時計算，其實就是監控一個HDFS目錄，只要有新檔案出現就實時處理 StreamingContext.fileStream(dataDirectory)方法可以從多種檔案系統的檔案中讀取資料，然後建立一個DStre
Spark學習筆記：輸入DStream和Receiver詳解
輸入DStream和Receiver詳解 輸入DStream代表了來自資料來源的輸入資料流，除了檔案資料流之外，所有的輸入DStream都會繫結一個Receiver物件，Receiver用於接收資料，然後將資料儲存在Spark的記憶體中，以供後續的操作使用。 SparkS
Spark學習筆記：Spark Streaming與Spark SQL協同工作
Spark Streaming與Spark SQL協同工作 Spark Streaming可以和Spark Core，Spark SQL整合在一起使用，這也是它最強大的一個地方。 例項：實時統計搜尋次數大於3次的搜尋詞 package StreamingDemo i
Spark學習筆記：四、WordCount字頻統計入門程式（基於IntelliJ IDEA使用Scala+SBT）
一、環境準備： Ubuntu16.04 IDEA Ultimate(破解版、教育版) Java JDK 1.8 Hadoop2.7 (偽單機模式) Spark 2.1.0 Hadoop與Spark的安裝過程本文省略 二、IDEA + SBT
Spark 學習筆記之 MONGODB SPARK CONNECTOR 插入性能測試
log font span 技術 strong mongos str server 學習 MONGODB SPARK CONNECTOR 測試數據量： 測試結果： 116萬數據通過4個表的join，從SQL Server查出，耗時1分多。MongoSp
VB.NET學習筆記：初識委託——System.Delegate 類
想必你對生活中的“委託”耳聞能詳，如委託某人辦某事。沒想到VB.NET程式設計也要跟委託打交道。因擴充套件控制元件，使其列頭增加全選全不選複選框並具備分頁功能需要用到委託和事件，詳見博文《》、《》，所以拜讀了多篇相關委託與事件的博文，結合自己在程式設計中的使用情況，談談我對委託與事件的一些認
機器學習筆記：初識sklearn(一)
以下內容為優達學城機器學習入門的mini專案：這裡有一系列分別由Sara(label 0)與Chris(label 1)所寫的郵件，劃分資料集，使用sklearn中的整合模型進行訓練與預測。 預處理 依賴庫 import nltk import n
Spark學習筆記3：鍵值對操作
對象 常用 ava java 參數 通過 頁面 ascend 處理過程 鍵值對RDD通常用來進行聚合計算，Spark為包含鍵值對類型的RDD提供了一些專有的操作。這些RDD被稱為pair RDD。pair RDD提供了並行操作各個鍵或跨節點重新進行數據分組的操作接口。 Sp
Spark學習筆記4：數據讀取與保存
讀取數據 chapter byte hadoop tar .lib 文件中 api sequence Spark對很多種文件格式的讀取和保存方式都很簡單。Spark會根據文件擴展名選擇對應的處理方式。 Spark支持的一些常見文件格式如下： 1、文本文件 使用文件
Spark2.x學習筆記：3、 Spark核心概念RDD
Spark學習筆記：3、Spark核心概念RDD 3.1 RDD概念 彈性分散式資料集(Resilient Distributed Datasets,RDD) ，可以分三個層次來理解： 資料集：故名思議，RDD 是資料集合的抽象，是複雜物理介質上存在資料的一種邏輯檢視。
spark學習筆記一：scala語言基礎
這篇文章是《scala程式設計》的筆記。 Scala基於java，是一種函數語言程式設計+程序式程式設計的混合語言。 可以使用直譯器互動執行，也可以編譯成jar包。 變數 Scala 有兩種變數， val （引用不可變）和 var（引用可變） 變數的定義和賦值語句是： v
Spark2.x學習筆記：14、Spark SQL程式設計
Spark2.x學習筆記：14、 Spark SQL程式設計 14.1 RDD的侷限性 RDD僅表示資料集，RDD沒有元資料，也就是說沒有欄位語義定義。 RDD需要使用者自己優化程式，對程式設計師要求較高。 從不同資料來源讀取資料相對困難。 合併多個數
spark機器學習筆記：（三）用Spark Python構建推薦系統
輸出結果： [[Rating(user=789, product=1012, rating=4.0), Rating(user=789, product=127, rating=5.0), Rating(user=789, product=475, rating=5.0), Rating(us
spark學習筆記之二：寬依賴和窄依賴
1.如果父RDD裡的一個partition只去向一個子RDD裡的partition為窄依賴，否則為寬依賴（只要是shuffle操作）。 2.spark根據運算元判斷寬窄依賴： 窄依賴：map
Spark學習筆記1：Spark概覽
Spark是一個用來實現快速而通用的叢集計算的平臺。 Spark專案包含多個緊密整合的元件。Spark的核心是一個對由很多計算任務組成的，執行在多個工作機器或者是一個計算叢集上的應用進行排程，分發以及監控的計算引擎。Sark核心引擎有著速度快和通用的特點，因此Spark支援
spark機器學習筆記：（六）用Spark Python構建迴歸模型
博主簡介：風雪夜歸子（英文名：Allen），機器學習演算法攻城獅，喜愛鑽研Meachine Learning的黑科技，對Deep Learning和Artificial Intelligence充滿興趣，經常關注Kaggle資料探勘競賽平臺，對資料、Machi
Spark2.x學習筆記：6、在Windows平臺下搭建Spark開發環境（Intellij IDEA）
Spark2.x學習筆記 6、 在Windows平臺下搭建Spark開發環境（Intellij IDEA+Maven） 6.1 整合開發環境IDE 為了方便應用程式開發與測試，提高開發效率，一般使用整合開發工具IDE。同樣，為了方便Spark應用程式編