Spark on YARN模式的安裝(spark-1.6.1-bin-hadoop2.6.tgz + hadoop-2.6.0.tar.gz)(master、slave1和slave2)(博主推薦)
說白了
Spark on YARN模式的安裝,它是非常的簡單,只需要下載編譯好Spark安裝包,在一臺帶有Hadoop YARN客戶端的的機器上執行即可。
Spark on YARN分為兩種: YARN cluster(YARN standalone,0.9版本以前)和 YARN client。
如果需要返回資料到client就用YARN client模式。
如果資料儲存到hdfs就用YARN cluster模式。(我一般是用這個)
開篇要明白
(1)spark-env.sh 是環境變數配置檔案
(2)spark-defaults.conf
(3)slaves 是從節點機器配置檔案
(4)metrics.properties 是 監控
(5)log4j.properties 是配置日誌
(5)fairscheduler.xml是公平排程
(6)docker.properties 是 docker
(7)我這裡的Spark on YARN模式的安裝,是master、slave1和slave2。
(8)Spark on YARN模式的安裝,其實,是必須要安裝hadoop的。
(9)為了管理,安裝zookeeper,(即管理master、slave1和slave2)
首先,說下我這篇部落格的Spark on YARN模式的安裝情況
我的安裝分割槽如下,3臺都一樣。
關於如何關閉防火牆
我這裡不多說,請移步
關於如何配置靜態ip和聯網
我這裡不多說,我的是如下,請移步
DEVICE=eth0 HWADDR=00:0C:29:A9:45:18 TYPE=Ethernet UUID=50fc177a-f282-4c83-bfbc-cb0f00b92507 ONBOOT=yes NM_CONTROLLED=yes BOOTPROTO=static DEFROUTE=yes PEERDNS=yes PEERROUTES=yes IPV4_FAILURE_FATAL=yes IPV6INIT=no NAME="System eth0" IPADDR=192.168.80.10 BCAST=192.168.80.255 GATEWAY=192.168.80.2 NETMASK=255.255.255.0 DNS1=192.168.80.2 DNS2=8.8.8.8
DEVICE=eth0 HWADDR=00:0C:29:18:ED:4A TYPE=Ethernet UUID=b5d059e4-3b92-41ef-889b-68f2f5684fac ONBOOT=yes NM_CONTROLLED=yes BOOTPROTO=static DEFROUTE=yes PEERDNS=yes PEERROUTES=yes IPV4_FAILURE_FATAL=yes IPV6INIT=no NAME="System eth0" IPADDR=192.168.80.11 BCAST=192.168.80.255 GATEWAY=192.168.80.2 NETMASK=255.255.255.0 DNS1=192.168.80.2 DNS2=8.8.8.8
DEVICE=eth0 HWADDR=00:0C:29:8B:DE:B0 TYPE=Ethernet UUID=1ba7be29-2c80-4875-8c11-1ed2a47c0a67 ONBOOT=yes NM_CONTROLLED=yes BOOTPROTO=static DEFROUTE=yes PEERDNS=yes PEERROUTES=yes IPV4_FAILURE_FATAL=yes IPV6INIT=no NAME="System eth0" IPADDR=192.168.80.12 BCAST=192.168.80.255 GATEWAY=192.168.80.2 NETMASK=255.255.255.0 DNS1=192.168.80.2 DNS1=8.8.8.8
關於新建使用者組和使用者
我這裡不多說,我是spark,請移步
關於安裝ssh、機器本身、機器之間進行免密碼通訊和時間同步
我這裡不多說,具體,請移步。在這一步,本人深有感受,有經驗。最好建議拍快照。否則很容易出錯!
機器本身,即master與master、slave1與slave1、slave2與slave2。
機器之間,即master與slave1、master與slave2。
slave1與slave2。
關於如何先解除安裝自帶的openjdk,再安裝
我這裡不多說,我是jdk-8u60-linux-x64.tar.gz,請移步
我的jdk是安裝在/usr/local/jdk下,記得賦予許可權組,chown -R spark:spark jdk
#java export JAVA_HOME=/usr/local/jdk/jdk1.8.0_60 export JRE_HOME=$JAVA_HOME/jre export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib export PATH=$PATH:$JAVA_HOME/bin
關於如何安裝scala
不多說,我這裡是scala-2.10.5.tgz,請移步
我的scala安裝在/usr/local/scala,記得賦予使用者組,chown -R spark:spark scala
#scala export SCALA_HOME=/usr/local/scala/scala-2.10.5 export PATH=$PATH:$SCALA_HOME/bin
關於如何安裝hadoop
我這裡不多說,請移步見
我的spark安裝目錄是在/usr/local/hadoop/,記得賦予使用者組,chown -R spark:spark hadoop
去看如何安裝就好,至於hadoop的怎麼配置。請見下面的hadoop on yarn模式的配置檔案講解。
#hadoop export HADOOP_HOME=/usr/local/hadoop/hadoop-2.6.0 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
關於如何安裝spark
我這裡不多說,請移步見
我的spark安裝目錄是在/usr/local/spark/,記得賦予使用者組,chown -R spark:spark spark
只需去下面的部落格,去看如何安裝就好,至於spark的怎麼配置。請見下面的spark standalone模式的配置檔案講解。
#spark export SPARK_HOME=/usr/local/spark/spark-1.6.1-bin-hadoop2.6 export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
關於zookeeper的安裝
我這裡不多說,請移步
以及,之後,在spark 裡怎麼配置zookeeper。
這裡,我帶大家來看官網
這裡,不多說,很簡單,自行去看官網。多看官網!
Hadoop on YARN配置與部署
這裡,不多說,請移步
我這裡,只貼出我最後的配置檔案和啟動介面
注意:3臺都是一樣的配置,master、slave1和slave2,我這裡不多贅述。
hadoop-env.sh
export JAVA_HOME=/usr/local/jdk/jdk1.8.0_60
core-site.xml
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <property> <name>io.file.buffer.size</name> <value>131072</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop/hadoop-2.6.0/tmp</value> </property> <property> <name>hadoop.proxyuser.hadoop.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.hadoop.groups</name> <value>*</value> </property> </configuration>
hdfs-site.xml
<configuration> <property> <name>dfs.namenode.secondary.http-address</name> <value>master:9001</value> </property> <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/usr/local/hadoop/hadoop-2.6.0/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/usr/local/hadoop/hadoop-2.6.0/dfs/data</value> </property> <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property> </configuration>
mapred-site.xml
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>master:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>master:19888</value> </property> </configuration>
yarn-site.xml
<configuration> <property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
</configuration>
slaves
slave1
slave2
masters
master
然後,新建目錄
mkdir -p /usr/local/hadoop/hadoop-2.6.0/dfs/name mkdir -p /usr/local/hadoop/hadoop-2.6.0/dfs/data
mkdir -p /usr/local/hadoop/hadoop-2.6.0/tmp
在master節點上,格式化
$HADOOP_HOME/bin/hadoop namenode -format
啟動hadoop程序
$HADOOP_HOME/sbin/start-all.sh
輸入
http://master:50070
http://master:8088
Spark on YARN配置與部署(這裡,作為補充)
編譯時包含YARN
mvn -Pyarn -Phadoop-2.6 -Dhadoop.version=2.7.1 -Phive -Phive-thriftserver -Psparkr -DskipTests clean package /make-distribution.sh --name hadoop2.7.1 --tgz -Psparkr -Phadoop-2.6 -Dhadoop.version=2.7.1 -Phive -Phive-thriftserver –Pyarn
注意:
hadoop的版本跟你使用的hadoop要對應,建議使用CDH或者HDP的hadoop發行版,對應關係已經處理好了。
export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
Spark on YARN的配置(這裡,本博文的重點)
Spark On YARN安裝非常簡單,只需要下載編譯好的Spark安裝包,在一臺帶有Hadoop Yarn客戶端的機器上解壓即可。
Spark on YARN分為兩種: YARN cluster(YARN standalone,0.9版本以前)和 YARN client。
YARN cluster是...我是用這種。
YARN client是將Client和Driver執行在一起(執行在本地),AM只用來管理資源。
如果需要返回資料到client就用YARN client模式。
如果資料儲存到hdfs就用YARN cluster模式。
注意:3臺都是一樣的配置,master、slave1和slave2,我這裡不多贅述。
Spark on YARN基本配置
配置HADOOP_CONF_DIR或者YARN_CONF_DIR環境變數。讓Spark知道YARN的配置資訊。
這句話是從哪裡來的,其實,你若沒有在spark-env.sh配置任何東西的話,直接去執行$SPARK_HOME/bin/spark-shell --master yarn就可以看到,它提示你去做。
有三種方式
(1)配置在spark-env.sh中 (我一般是用這種)(本博文也是這種)
(2)在提交spark應用之前export
(3) 配在到作業系統的環境變數中
注意:在yarn-site.xml,配上hostname
如果使用的是HDP,請在spark-defaults.conf中加入:(這裡,作為補充)
spark.driver.extraJavaOptions -Dhdp.version=current
spark.yarn.am.extraJavaOptions -Dhdp.version=current
修改如下配置:
● slaves--指定在哪些節點上執行worker。
# # Licensed to the Apache Software Foundation (ASF) under one or more # contributor license agreements. See the NOTICE file distributed with # this work for additional information regarding copyright ownership. # The ASF licenses this file to You under the Apache License, Version 2.0 # (the "License"); you may not use this file except in compliance with # the License. You may obtain a copy of the License at # # http://www.apache.org/licenses/LICENSE-2.0 # # Unless required by applicable law or agreed to in writing, software # distributed under the License is distributed on an "AS IS" BASIS, # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. # See the License for the specific language governing permissions and # limitations under the License. # # A Spark Worker will be started on each of the machines listed below. slave1 slave2
● spark-defaults.conf---spark提交job時的預設配置
#
# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements. See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License. You may obtain a copy of the License at
#
# http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
#
# Default system properties included when running spark-submit.
# This is useful for setting default environmental settings.
# Example:
# spark.master spark://master:7077
# spark.eventLog.enabled true
# spark.eventLog.dir hdfs://namenode:8021/directory
# spark.serializer org.apache.spark.serializer.KryoSerializer
# spark.driver.memory 5g
# spark.executor.extraJavaOptions -XX:+PrintGCDetails -Dkey=value -Dnumbers="one two three"
大家,可以在這個配置檔案裡指定好,以後每次不需在命令列下指定了。當然咯,也可以不配置啦!(我一般是這裡不配置,即這個檔案不動它)
spark-defaults.conf (這個作為可選可不選)(是因為或者是在spark-submit裡也是可以加入的)(一般不選,不然固定死了)(我一般是這裡不配置,即這個檔案不動它)
spark.master spark://master:7077
spark.eventLog.enabled true
spark.eventLog.dir hdfs://master:9000/sparkHistoryLogs
spark.eventLog.compress true
spark.history.fs.update.interval 5
spark.history.ui.port 7777
spark.history.fs.logDirectory hdfs://master:9000/sparkHistoryLogs
● spark-env.sh—spark的環境變數
#!/usr/bin/env bash # # Licensed to the Apache Software Foundation (ASF) under one or more # contributor license agreements. See the NOTICE file distributed with # this work for additional information regarding copyright ownership. # The ASF licenses this file to You under the Apache License, Version 2.0 # (the "License"); you may not use this file except in compliance with # the License. You may obtain a copy of the License at # # http://www.apache.org/licenses/LICENSE-2.0 # # Unless required by applicable law or agreed to in writing, software # distributed under the License is distributed on an "AS IS" BASIS, # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. # See the License for the specific language governing permissions and # limitations under the License. # # This file is sourced when running various Spark programs. # Copy it as spark-env.sh and edit that to configure Spark for your site. # Options read when launching programs locally with # ./bin/run-example or ./bin/spark-submit # - HADOOP_CONF_DIR, to point Spark towards Hadoop configuration files # - SPARK_LOCAL_IP, to set the IP address Spark binds to on this node # - SPARK_PUBLIC_DNS, to set the public dns name of the driver program # - SPARK_CLASSPATH, default classpath entries to append # Options read by executors and drivers running inside the cluster # - SPARK_LOCAL_IP, to set the IP address Spark binds to on this node # - SPARK_PUBLIC_DNS, to set the public DNS name of the driver program # - SPARK_CLASSPATH, default classpath entries to append # - SPARK_LOCAL_DIRS, storage directories to use on this node for shuffle and RDD data # - MESOS_NATIVE_JAVA_LIBRARY, to point to your libmesos.so if you use Mesos # Options read in YARN client mode # - HADOOP_CONF_DIR, to point Spark towards Hadoop configuration files # - SPARK_EXECUTOR_INSTANCES, Number of executors to start (Default: 2) # - SPARK_EXECUTOR_CORES, Number of cores for the executors (Default: 1). # - SPARK_EXECUTOR_MEMORY, Memory per Executor (e.g. 1000M, 2G) (Default: 1G) # - SPARK_DRIVER_MEMORY, Memory for Driver (e.g. 1000M, 2G) (Default: 1G) # - SPARK_YARN_APP_NAME, The name of your application (Default: Spark) # - SPARK_YARN_QUEUE, The hadoop queue to use for allocation requests (Default: ‘default’) # - SPARK_YARN_DIST_FILES, Comma separated list of files to be distributed with the job. # - SPARK_YARN_DIST_ARCHIVES, Comma separated list of archives to be distributed with the job. # Options for the daemons used in the standalone deploy mode # - SPARK_MASTER_IP, to bind the master to a different IP address or hostname # - SPARK_MASTER_PORT / SPARK_MASTER_WEBUI_PORT, to use non-default ports for the master # - SPARK_MASTER_OPTS, to set config properties only for the master (e.g. "-Dx=y") # - SPARK_WORKER_CORES, to set the number of cores to use on this machine # - SPARK_WORKER_MEMORY, to set how much total memory workers have to give executors (e.g. 1000m, 2g) # - SPARK_WORKER_PORT / SPARK_WORKER_WEBUI_PORT, to use non-default ports for the worker # - SPARK_WORKER_INSTANCES, to set the number of worker processes per node # - SPARK_WORKER_DIR, to set the working directory of worker processes # - SPARK_WORKER_OPTS, to set config properties only for the worker (e.g. "-Dx=y") # - SPARK_DAEMON_MEMORY, to allocate to the master, worker and history server themselves (default: 1g). # - SPARK_HISTORY_OPTS, to set config properties only for the history server (e.g. "-Dx=y") # - SPARK_SHUFFLE_OPTS, to set config properties only for the external shuffle service (e.g. "-Dx=y") # - SPARK_DAEMON_JAVA_OPTS, to set config properties for all daemons (e.g. "-Dx=y") # - SPARK_PUBLIC_DNS, to set the public dns name of the master or workers # Generic options for the daemons used in the standalone deploy mode # - SPARK_CONF_DIR Alternate conf dir. (Default: ${SPARK_HOME}/conf) # - SPARK_LOG_DIR Where log files are stored. (Default: ${SPARK_HOME}/logs) # - SPARK_PID_DIR Where the pid file is stored. (Default: /tmp) # - SPARK_IDENT_STRING A string representing this instance of spark. (Default: $USER) # - SPARK_NICENESS The scheduling priority for daemons. (Default: 0)
export JAVA_HOME=/usr/local/jdk/jdk1.8.0_60 (必須寫)
export SCALA_HOME=/usr/local/scala/scala-2.10.5 (必須寫)
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.6.0 (必須寫)
export HADOOP_CONF_DIR=/usr/local/hadoop/hadoop-2.6.0/etc/hadoop (必須寫)
export SPARK_MASTER_IP=192.168.80.10
export SPARK_WORKER_MERMORY=1G (官網上說,至少1g)
spark-shell執行在YARN上(這是Spark on YARN模式)
(包含YARN client和YARN cluster)(作為補充)
登陸安裝Spark那臺機器
bin/spark-shell --master yarn-client
或者
bin/spark-shell --master yarn-cluster
包括可以加上其他的,比如控制記憶體啊等。這很簡單,不多贅述。
我這裡就以YARN Client演示了。
[[email protected] spark-1.6.1-bin-hadoop2.6]$ bin/spark-shell --master yarn-client 17/03/29 22:40:04 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 17/03/29 22:40:04 INFO spark.SecurityManager: Changing view acls to: spark 17/03/29 22:40:04 INFO spark.SecurityManager: Changing modify acls to: spark 17/03/29 22:40:04 INFO spark.SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(spark); users with modify permissions: Set(spark) 17/03/29 22:40:05 INFO spark.HttpServer: Starting HTTP Server 17/03/29 22:40:06 INFO server.Server: jetty-8.y.z-SNAPSHOT 17/03/29 22:40:06 INFO server.AbstractConnector: Started [email protected]0.0.0.0:35692 17/03/29 22:40:06 INFO util.Utils: Successfully started service 'HTTP class server' on port 35692. Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 1.6.1 /_/ Using Scala version 2.10.5 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_60)
注意,這裡的--master是固定引數,不是說主機名是master。
提交spark作業
為了出現問題,還是先看我寫的這篇部落格吧!
1、用yarn-client
模式提交spark作業
在/usr/local/spark
目錄下建立資料夾
vi spark_pi.sh
$SPARK_HOME/bin/spark-submit \ --class org.apache.spark.examples.JavaSparkPi \ --master yarn-client \ --num-executors 1 \ --driver-memory 1g \ --executor-memory 1g \ --executor-cores 1 \
$SPARK_HOME/lib/spark-examples-1.6.1-hadoop2.6.0.jar \
driver-memory不指定也可以,預設使用512M
executor-memory不指定的化, 預設是1G
chmod 777 spark_pi.sh ./spark_pi.sh
或者
[[email protected] ~]$ $SPARK_HOME/bin/spark-submit \ > --class org.apache.spark.examples.JavaSparkPi \ > --master yarn-cluster \ > --num-executors 1 \ > --driver-memory 1g \ > --executor-memory 1g \ > --executor-cores 1 \ > $SPARK_HOME/lib/spark-examples-1.6.1-hadoop2.6.0.jar
driver-memory不指定也可以,預設使用512M
executor-memory不指定的化, 預設是1G
2、用yarn-cluster
模式提交spark作業
在/usr/local/spark
目錄下建立資料夾
vi spark_pi.sh
$SPARK_HOME/bin/spark-submit \ --class org.apache.spark.examples.JavaSparkPi \ --master yarn-cluster \ --num-executors 1 \ --driver-memory 1g \ --executor-memory 1g \ --executor-cores 1 \
$SPARK_HOME/lib/spark-examples-1.6.1-hadoop2.6.0.jar \
driver-memory不指定也可以,預設使用512M
executor-memory不指定的化, 預設是1G
chmod 777 spark_pi.sh
./spark_pi.sh
或者
[[email protected] ~]$ $SPARK_HOME/bin/spark-submit \ > --class org.apache.spark.examples.JavaSparkPi \ > --master yarn-cluster \ > --num-executors 1 \ > --driver-memory 1g \ > --executor-memory 1g \ > --executor-cores 1 \ > $SPARK_HOME/lib/spark-examples-1.6.1-hadoop2.6.0.jar
driver-memory不指定也可以,預設使用512M
executor-memory不指定的化, 預設是1G
注意,這裡的--master是固定引數
相關推薦
Spark on YARN模式的安裝(spark-1.6.1-bin-hadoop2.6.tgz + hadoop-2.6.0.tar.gz)(master、slave1和slave2)(博主推薦)
說白了 Spark on YARN模式的安裝,它是非常的簡單,只需要下載編譯好Spark安裝包,在一臺帶有Hadoop YARN客戶端的的機器上執行即可。 Spark on YARN分為兩種: YARN cluster(YARN standalone,0.9版本以前)和 YA
Spark standalone模式的安裝(spark-1.6.1-bin-hadoop2.6.tgz)(master、slave1和slave2)
前期部落格 開篇要明白 (1)spark-env.sh 是環境變數配置檔案 (2)spark-defaults.conf (3)slaves 是從節點機器配置檔案 (4)metrics.properties 是 監控 (5)log4j.
Spark on YARN簡介與執行wordcount(master、slave1和slave2)(博主推薦)
前期部落格 Spark On YARN模式 這是一種很有前景的部署模式。但限於YARN自身的發展,目前僅支援粗粒度模式(Coarse-grained Mode)。這是由於YARN上的Container資源是不可以動態伸縮的,一旦Container啟動之後,可使用
Spark standalone簡介與執行wordcount(master、slave1和slave2)
前期部落格 1. Standalone模式 即獨立模式,自帶完整的服務,可單獨部署到一個叢集中,無需依賴任何其他資源管理系統。從一定程度上說,該模式是其他兩種的基礎。借鑑Spark開發模式,我們可以得到一種開發新型計算框架的一般思路:先設計出它的s
CentOS7.0安裝配置hadoop2.7.0 資源準備 資源下載: hadoop-2.7.0.tar.gz 密碼:727y jdk-8u45-linux-x64.tar.gz 密碼:d8bm
CentOS7.0安裝配置hadoop2.7.0 資源準備 資源下載: 注意事項: 如果自己下載資源的話,注意hadoop,jdk,centos都應該是64位或者32位的,以免出現無法預料的錯誤,上面的資源都是64位的我是在mac下配置的,virtual box是ios x系統的,如果是其它系統的另
spark on yarn模式下內存資源管理(筆記2)
warn 計算 nta 堆內存 註意 layout led -o exc 1.spark 2.2內存占用計算公式 https://blog.csdn.net/lingbo229/article/details/80914283 2.spark on yarn內存分配*
大資料之Spark(八)--- Spark閉包處理,Spark的應用的部署模式,Spark叢集的模式,啟動Spark On Yarn模式,Spark的高可用配置
一、Spark閉包處理 ------------------------------------------------------------ RDD,resilient distributed dataset,彈性(容錯)分散式資料集。 分割槽列表,fun
超圖大資料產品spark on yarn模式使用
本文介紹超圖大資料產品spark元件,iServer產品中的分散式分析服務,如何在部署好的spark叢集,hadoop叢集中採用spark on yarn模式提交任務進行空間大資料相關的分析。 一、環境 1. Ubuntu server 16,三個節點的hadoop叢集和spar
Spark on yarn模式的引數設定即調優
1 啟動方式 執行命令./spark-shell --master yarn預設執行的是client模式。 執行./spark-shell --master yarn-client或者./spark-shell --master yarn --deploy-m
spark on yarn模式裡需要有時手工釋放linux記憶體
歡迎您的加入! 微信公眾號平臺: 大資料躺過的坑 微信公眾號平臺: 人工智慧躺過的坑 大資料和人工智慧躺過的坑(總群): 161156071 更多QQ技術分群,詳情請見:http://www.cnblogs.com/zls
spark on yarn模式下掃描帶有kerberos的hbase
我上一篇寫了關於如何在spark中直接訪問有kerberos的hbase,現在我們需要對hbase進行全表的分散式掃描,在無kerberos的情況下通過sparkcontext的newApiHadoopRDD就可以達到目的,但有了kerberos的限制,這個方法就不行了,
Windows裏如何正確安裝Redis以服務運行(博主推薦)(圖文詳解)
tex files 64位 下載 win 多說 body 網盤下載 AC 不多說,直接上幹貨! 註意 : Redis官方並沒有提供Redis的windows安裝包,但在github上, 有相關的下載地址。
全網最詳細的基於Ubuntu14.04/16.04 + Anaconda2 / Anaconda3 + Python2.7/3.4/3.5/3.6安裝Tensorflow詳細步驟(圖文)(博主推薦)
不多說,直接上乾貨! 前言 建議參照最新的tensorflow安裝步驟(Linux,官方網站經常訪問不是很穩定,所以給了一個github的地址): https://github.com/tensorflow/tensorflow/blob/master/t
MySQL Server型別之MySQL客戶端工具的下載、安裝和使用(博主推薦)
本博文的主要內容有 .MySQL Server 5.5系列的下載 .MySQL Server 5.5系列的安裝 .MySQL Server 5.5系列的使用 .MySQL Server 5.5系列的解除安裝 注意啊! 對於noinstall方式安裝的MySQL,系統的
Ubuntu14.04下Neo4j圖資料庫官網安裝部署步驟(圖文詳解)(博主推薦)
不多說,直接上乾貨! 說在前面的話 首先,檢視下你的作業系統的版本。 [email protected]:~# cat /etc/issue Ubuntu 14.04.4 LTS \n \l [email protected]:~#
Navicat Premium之MySQL客戶端的下載、安裝和使用(博主推薦)
不多說,直接上乾貨! 前期工作 若需使用Navicat Premium,則需要先安裝MySQL,在此就不敘述了。具體可見我的部落格: Navicat Premium是一套資料庫管理工具,結合其它Navicat成員,支援單
Ubuntu14.04下完美安裝cloudermanage多種方式(圖文詳解)(博主推薦)
說在前面的話 我的機器是總共4臺,分別為ubuntucmbigdata1、ubuntucmbigdata2、ubuntucmbigdata3和ubuntucmbigdata4。 ClouderaManager官網 https://www.cloudera.com/docume
基於JDBC的跨平臺資料庫管理工具DbVisualizer安裝步驟(圖文詳解)(博主推薦)
首先,關於跨平臺資料庫管理工具DbVisualizer是什麼?這個不多說,大家自行去看。 這個工具可以自定義連線其他沒有驅動的資料庫。 公司的專案牽扯到的資料庫有mysql,sqlserver,oracle,mongda,postgresql,hive等。
Ubuntu16.04下Neo4j圖資料庫官網安裝部署步驟(圖文詳解)(博主推薦)
不多說,直接上乾貨! 說在前面的話 首先,檢視下你的作業系統的版本。 [email protected]virtual-machine:~# cat /etc/issue Ubuntu 16.04.1 LTS \n \l [email p
分區助手是什麽?(博主推薦)(圖文詳解)
post 操作 src 它的 公眾號 專業 分區 切割 ima 不多說,直接上幹貨! 分區助手是一個簡單易用且免費的磁盤分區管理軟件,在它的幫助下,你可以無損數據地執行調整分區大小,移動分區位置,復制分區,復制磁盤,合並分區,切割分區、恢復分