Spark程序本地運行
阿新 • • 發佈:2017-05-29
統計 sca 解壓 zip textfile oop lec per sparkconf
本次安裝是在JDK安裝完成的基礎上進行的! SPARK版本和hadoop版本必須對應!!!
spark是基於hadoop運算的,兩者有依賴關系,見下圖:
前言:
1.環境變量配置:
1.1 打開“控制面板”選項
1.2.找到“系統”選項卡
1.3.點擊“高級系統設置”
1.4.點擊“環境變量”
2.新建和編輯環境變量
1.下載hadoop-2.6.0.tar.gz文件,並解壓在本地
1.1 新建環境變量上配置
HADOOP_HOME
D:\JAVA\hadoop
1.2 修改PATH路徑
$HADOOP_HOME/bin;
2.下載scala-2.10.6.zip文件,並解壓在本地
2.1 新建環境變量上配置
SCALA_HOME
D:\JAVA\scala
2.2 修改PATH路徑
%SCALA_HOME%\bin;%SCALA_HOME%\jre\bin;
3.下載spark-1.6.2-bin-hadoop2.6.tgz文件,並解壓在本地
3.1 新建環境變量上配置
SPARK_HOME
D:\JAVA\spark_home\bin
3.2 修改PATH路徑
PATH
$SPARK_HOME/bin;
4.下載scala-IDE.zip文件,並解壓在本地
新建一個工程,修改library:
Scala library一定要是:2.10.X
新建一個自己的library:添加一個Jar文件(${spark_home}/lib)
下跟Word Count代碼
package com import org.apache.spark.SparkConf import org.apache.spark.api.java.JavaSparkContext import org.apache.spark.SparkContext /** * 統計字符出現次數 */ object WordCount { def main(args: Array[String]): Unit = { System.setProperty(Word Count"hadoop.home.dir", "D:\\JAVA\\hadoop"); val sc = new SparkContext("local", "My App") val line = sc.textFile("/srv/1.txt") line.map((_, 1)).reduceByKey(_+_).collect().foreach(println) sc.stop() println(111111) } }
hadoop下載點擊這裏
spark下載點擊這裏
scala安裝包,scala IDE下載點擊這裏
Spark程序本地運行