spark的原理和部署（二）on yarn
測試：本地執行spark-shell程式：[email protected]:/usr/local/spark/bin$ spark-shell --master local[2]##讀取HDFS檔案，其中 master:9000為hadoop叢集搭建時定義的檔案系統埠 core-site.xml中設定scala> val textFile=sc.textFile("hdfs://master:9000/user/wh/hdfs_in/pg20417.txt")textFile: org.apache.spark.rdd.RDD[String] = hdfs://master:9000/user/wh/hdfs_in/pg20417.txt MapPartitionsRDD[7] at textFile at <console>:24scala> textFile.countres3: Long = 12760 ####讀取本地檔案，scala> val textFile=sc.textFile("file:/usr/local/spark/README.md")textFile: org.apache.spark.rdd.RDD[String] = file:/usr/local/spark/README.md MapPartitionsRDD[1] at textFile at <console>:24scala> textFile.countres0: Long = 103##############注意hdfs://master:9000 和file：的區別餘下的參考：http://dblab.xmu.edu.cn/blog/1187-2/ 完全搞定，這就算是部署結束了。http://dblab.xmu.edu.cn/blog/1217-2/ 這個部落格主要講的是 standalone 和 on yarn兩種模式的區別，兩種模式都在讀取hdfs檔案，區別在於啟動spark的時候一個是：spark-shell --master sspark://master:7077(主節點)
此外執行spark分兩種，一種是執行jar包，另一種是互動式。下一篇部落格再說吧，除此之外再記錄一下RDD。相關推薦
spark的原理和部署（二）on yarn
關於spark的叢集有三種部署模式， mesos yarn standalone，對應著三種不同的資源管理方式，因為前段時間搭建了hadoop叢集，所以先來了解下 on yarn的叢集部署方式。首先啟動叢集start-all.sh測試：本地執行spark-shell程式：
zookeeper的原理和使用（二）-leader選舉
一、前言 前面學習了Zookeeper服務端的相關細節，其中對於叢集啟動而言，很重要的一部分就是Leader選舉，接著就開始深入學習Leader選舉。 二、Leader選舉 2.1 Leader選舉概述 Leader選舉是保證分散式資料一致性的關鍵所在。當Zookeepe
Git的原理和使用（二）
上一節說完了VCS，在這裡來說說分散式版本控制系統DVCS 什麼是分散式版本控制系統（DVCS） 分散式 VCS （Distributed VCS / DVCS）和中央式的區別在於，分散式 VCS 除了中央倉庫之外，還有本地倉庫：團隊中每一個成員的機器上都有一份本地倉庫，這個倉庫裡包
python程式設計：從入門到實踐學習筆記-基於Django框架的Web開發-設計樣式和部署（二）
部署學習筆記 接下來我們將使用Heroku（基於Web的平臺）管理Web應用程式的部署。 建立Heroku賬戶 訪問https://signup.heroku.com註冊一個帳號。 安裝Heroku Toolbelt 安裝Heroku Toolbelt，對部署到He
Exchange 2013 CU17和office 365混合部署（二）
Exchange 2013 office 365 上一篇我們已經完成了添加域的步驟，下面我們將進行AAD Connect的安裝和配置。安裝AAD Connect之前，需要現在AAD服務器中安裝.NET Framework 3.5,如下點擊“添加角色和功能”勾選“.NET Framework 3.5功能
TCP三次握手和四次揮手過程原理及擴充套件（二）
【1】TCP如何保證可靠性傳輸？ 在傳遞資料之前，會有三次握手來建立連線 應用資料被分割成TCP認為最合適的資料庫（按位元組編號，合理分片），這和UDP完全不同，應用程式產生的資料報長度保持不變。（將資料截斷為合理的長度） 當TCP發出一個段後，它啟動一個定時器，等待目
使用Swagger2Markup實現API文件的靜態部署（二）：Markdown和Confluence
在上一篇《使用Swagger2Markup實現API文件的靜態部署（一）：AsciiDoc》中，我們介紹瞭如何使用 Swagger2Markup將Swagger文件轉換成AsciiDoc，再將AsciiDoc轉換成靜態HTML。下面，本文將繼續介紹Swagger2Ma
基於rhel7.2的Zabbix平臺搭建和部署（一）
linux 監控軟件 zabbix nginx mysql php lnmp基於rhel7.2的zabbix平臺搭建和部署（一）一、實驗環境：（1）虛擬機：rhel7.2 x86_64（2）數據庫：mysql5.7.13（3）nginx1.10.2（4）PHP5.6.27（5）zabbix二、安裝編譯工具及
Redis的安裝和部署（windows ）
數據庫 inux 保持 設置 cli 窗口 mas log height Redis是一個開源的試用ANSI C語言編寫的、遵守BSD協議、支持網絡、可基於內存可持久化的日誌型、key-value數據庫。通常被稱為數據結構服務器. redis的數據類型有：字符串（strin
基於rhel7.2的Zabbix平臺搭建和部署（四）
linux 監控軟件 zabbix nginx mysql php lnmp基於rhel7.2的Zabbix平臺搭建和部署（四）一、實現zabbix添加監測項，添加對Linux主機的監控、說明：先在“配置”-“主機”裏添加主機監控，監控os資源：內存，cpu，io，負載，帶寬等.（1）登錄zabbix，先在
基於centos6的mysql5.7.13主從部署（二）
linux mysql主從 部署基於centos6的mysql5.7.13主從部署（二）一、部署主mysql說明：mysql1是主機，mysql2是備機。創建庫[[email protected]/* */ ~]# mysql -uroot -p123456mysql> create da
jenkins實戰之jenkins安裝部署（二）
自動化運維 上一小節介紹了Jenkins安裝（Linux/uninx平臺）,這節我們講講Jenkins界面操作（包括系統設置，工具安裝，插件管理，系統升級，安全設置等等操作）； 登錄jenkins首頁，分別有以下選項欄，從左側看起，點擊Jenkins系統管理我們會看到右側list欄，內
Ubuntu 16.04.2 LTS 安裝 jdk1.6 和 tomcat6 （二）
pass set 命令 arc 記錄 variable ogr ant pat 上一篇記錄和分享了jdk1.6 在Ubuntu 16.04.2 環境下的安裝配置，本文開始安裝和配置tomcat 6 2 安裝tomcat http://tomcat.ap
Spark入門實戰系列--2.Spark編譯與部署（中）--Hadoop編譯安裝
二進制包 1.10 不能 mapr 修復 att 機器 mave end 【註】該系列文章以及使用到安裝包/測試數據 能夠在《[傾情大奉送–Spark入門實戰系列] (http://blog.csdn.net/yirenboy/article/deta
Spark轉GemFire任務（二）
rip spec parent region turn source desc 6.2 include ADMG-2.2.1.3 - BRAVO CoA Mapping - TB Revision 7/11: If Bravo code is not numeric,
小白學習安全測試——httrack的安裝和使用（二）
type mas track base launch 驗證 解決方案 我沒 ted httrack是一款免費的網站鏡像程序，簡單理解就是可以在網站結構（網頁及一些主要信息文件），下載到本地，可離線瀏覽，我是按照搭建成功後的console直譯過來的 下面說下安裝： 我都是在L
多線程編程學習筆記——async和await（二）
處理 sync ext 操作 line cnblogs 編程 技術 容器 接上文 多線程編程學習筆記——async和await（一） 三、 對連續的異步任務使用await操作符 本示例學習如何閱讀有多個await方法方法時，程序
慕課網 星級評分原理和實現（上）
方法 click down cti 原理 als row rep ava 源碼下載 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8">
Centos7 zabbix3.4.6的安裝部署 （二）
pos gpo 監控服務器 技術分享 color conf blog sys nbsp 接著安裝zabbix客戶端 直接安裝在服務器上 監控服務器 ip 192.168.161.25 yum -y install zabbix-agent #通過Yum安裝zabbix
編碼原理詳解（二）---變換編碼
mar 關於 詳解 tex 描述 原理 學習 編碼原理 watermark 本篇介紹編碼原理中的變換編碼。 一、變換的目的和作用： 變換編碼的作用是將空間域描述的圖像信號變換到頻率域，然後對變換後的系數進行編碼處理。一般來說，圖像在空間上具有較強的相關性，變換到頻率