1. 程式人生 > >spark啟動時 問題

spark啟動時 問題

我的spark是搭建在hadoop上面的,啟動hadoop以後,接著啟動spark的時候,會在啟動命令列提示一下資訊,

spark2: failed to launch org.apache.spark.deploy.worker.Worker:

最後分析可知,是由於沒有開啟spark的7077埠的原因,

解決方案:關閉spark服務,在所有節點執行開啟埠操作,具體命令如下所示:

在ubuntu下直接執行開啟埠命令:

關閉埠

iptables -A INPUT -p tcp --dport 7077 -j DROP

開啟埠

iptables -A INPUT -p tcp --dport 7077 -j ACCEPT

然後再執行spark開啟埠操作,spark可以正常 的啟動。

[email protected]:~$ ./installDirectory/spark-1.4.0-bin-hadoop2.6/sbin/start-all.sh
starting org.apache.spark.deploy.master.Master, logging to /home/tong/installDirectory/spark-1.4.0-bin-hadoop2.6/sbin/../logs/spark-tong-org.apache.spark.deploy.master.Master-1-spark1.out
spark1: starting org.apache.spark.deploy.worker.Worker, logging to /home/tong/installDirectory/spark-1.4.0-bin-hadoop2.6/sbin/../logs/spark-tong-org.apache.spark.deploy.worker.Worker-1-spark1.out
spark2: starting org.apache.spark.deploy.worker.Worker, logging to /home/tong/installDirectory/spark-1.4.0-bin-hadoop2.6/sbin/../logs/spark-tong-org.apache.spark.deploy.worker.Worker-1-spark2.out


相關推薦

大資料篇:Spark 啟動,提示 slave1 JAVA_HOME not set

Problem: [[email protected] ~]# start-slaves.sh slave1: starting org.apache.spark.deploy.worker.Worker, logging to /usr/local/spark-1.6.

Spark啟動的master引數以及Spark的部署方式

我們在初始化SparkConf時,或者提交Spark任務時,都會有master引數需要設定,如下:conf = SparkConf().setAppName(appName).setMaster(master) sc = SparkContext(conf=conf) /bin/spark-submit \

spark啟動 問題

我的spark是搭建在hadoop上面的,啟動hadoop以後,接著啟動spark的時候,會在啟動命令列提示一下資訊, spark2: failed to launch org.apache.spark.deploy.worker.Worker: 最後分析可知,是由於沒有開

Hive在spark2.2.1啟動無法訪問../lib/spark-assembly-*.jar: 沒有那個檔案或目錄的解決辦法

就是每次進行hive 都會顯示無法訪問/home/bigdata/spark/jars/*.jar:沒有那個檔案或目錄 沒辦法,只好一步一步分析,終於找到問題的癥結: 直接cd $HIVE_HOME 進入hive的bin目錄下的hive  vi hive 修改 SPARK

Spark Shell啟動遇到:14: error: not found: value spark import spark.implicits._ :14: error: not found: value spa

  不多說,直接上乾貨!   最近,開始,進一步學習spark的最新版本。由原來經常使用的spark-1.6.1,現在來使用spark-2.2.0-bin-hadoop2.6.tgz。 前期部落格   這裡我,使用的是spark-2.2.0-bin-hadoop2.6.tgz

javaweb項目啟動自動啟動rmi服務器實例

java warn 地址 public 配置 -name ace war -o 1.我們先寫一個web項目啟動時需要運行的類RmiRegisterServlet.java package com.mx.Servlet; import javax.servlet.Serv

tomcat部署新的項目啟動出現報錯信息: Invalid byte tag in constant pool: 15

tomcat 啟動報錯 invalid byte tag in constant pool ......org.apache.tomcat.util.bcel.classfile.ClassFormatException: Invalid byte tag in constant pool: 15

遇到一個spring啟動類找不到的問題~

eclips singleton jar ebe esc apach star ole bsp 今天將一個老的項目部署到Tomcat7上運行時,spring初始化一直失敗,提示錯誤如下: Java.lang.NoClassDefFoundError:org.springfr

iOS App初次啟動的用戶引導頁制作實例分享

復制代碼 bound gpo 並且 fault launch boa com content iOS App初次啟動時的用戶引導頁制作實例分享 作者:老初 字體:[增加 減小] 類型:轉載 時間:2016-03-09 我要評論 這篇文章主要介紹了iOS App初次啟動

Tomcat啟動載入某個servlet

不為 load color col pos ems 項目 設置 應用 當我們做一個java項目時,有幾個功能都須要載入servlet或者實現某個共同的方法,盡管我們一味地在每個功能中依次載入也不是不能夠,可是當某個servlet 或者方法被頻繁地載入和應用。我

[轉]Android Studio啟動出現unable to access android sdk add-on list

上大 ras server tails dea tar ext ida 錯誤信息 轉載請標明出處:http://blog.csdn.net/xx326664162/article/details/50563122 文章出自:薛瑄的博客 你也可以查看我的其他同類文章,也會讓你

CentOS7.2通用二進制格式安裝mariadb-5.5.46-linux-x86_64.tar.gz文檔與啟動失敗排查分析

centos7.2通用二進制格式安裝mariadb-5.5.46-linux-x86_64.tar.gzCentOS7.2通用二進制格式安裝mariadb-5.5.46-linux-x86_64.tar.gz提前準備好mariadb-5.5.46-linux-x86_64.tar.gz[[email 

xampp啟動顯示的錯誤

錯誤 this nbsp 啟動 opp depend ges ould not xampp啟動時顯示的錯誤為: 9:52:41 [Apache] Attempting to start Apache app... 9:52:41 [Apache] Status ch

xampp中的mysql啟動無法產生err文件

xampp errcode 13 permission denied mysqlcentos6.5,安裝完xampp5.6.30,啟動mysql報錯,不能產生.err文件[[email protected]/* */_server ~]# /opt/lampp/lampp startmysqlXA

tomcat 服務不支持 chkconfig 以及其他服務不能添加到開機啟動的操作

支持 bin 服務 啟動 tomcat chmod 報錯 但是 列表 在安裝完tomcat後想添加的開機自啟動的操作,但是報錯tomcat 服務不支持 chkconfig,後來在 /etc/init.d/tomcat中的#!/bin/bash後添加上#chkconfig:

selenium-webdriver啟動開啟firebug

jsp ges cti page style tex index profile http File file = new File("D:/software/firefox/firebug-2.0.16-fx.xpi"); FirefoxProfile profile =

應用啟動將白屏背景替換成圖片/顏色/動畫等 僅供參考

lns cte star cat 16px 繼承 encoding 默認啟動 drawable 1.創建自己的主題樣式(style) 在vules資源目錄下的style中創建一個樣式 <style name="MyTheme" parent="Theme

[經驗分享] windows2008服務器設置系統啟動程序自動運行

edit 行程 添加 腳本文件 nor ont html bsp idt 轉自:http://bbs.qcloud.com/thread-4082-1-1.html 設置windows服務器啟動時自動運行程序,而且不需要用戶登錄,就可以啟動 首先準備好,程序的啟動腳本文

appium啟動如何禁止安裝Unlock、Setting

files 技術分享 pan lock 前言 dev nbsp devices spa 前言 每次啟動appium都要很傻×的安裝下unlock,setting,所以特意研究了下如何每次啟動app時,都不進行unlock和setting apk的安裝 首先筆者的app

springboot項目啟動提示Address already in use: bind

127.0.0.1 發現 dst 系統 pan image ava core cor PS:web項目在啟動的時候,一般會報Address already in use: bind,常規的處理思路為:刪除任務管理器中的javaw.exe進程即可;當刪除仍然解決不了時,一般處