1. 程式人生 > >spark-shell啟動中bug除錯(bug除錯)

spark-shell啟動中bug除錯(bug除錯)

報錯資訊:

Exception in thread "main" java.io.IOException: Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did not match expected tag.; Host Details : local host is: "node01/192.168.198.21"; destination host is: "node01":8080;

問題描述:

啟動spark-shell時報如上錯誤,大概看來是那個埠的問題,咋一看,還真看不出來。這是由於spark-master埠8080(後期可能有修改),和hdfs的埠:50070(狀態為active),還有hdfs的狀態埠8020混亂的問題。

解決思路:首先在spark中用“hdfs dfs -p mkdir  /spark/data”,建立的檔案在hdfs上,故在conf下的spark-default下配置路徑的時候,應該配置的是hdfs的埠,並且是active狀態下的“8020”埠,而我錯誤地配置成了“8080”

解決方案:

去conf資料夾下,去檔案spark-default下修改配置的埠:

spark.eventLog.dir               hdfs://node01:8080/spark/log

相關推薦

spark-shell啟動bug除錯bug除錯

報錯資訊: Exception in thread "main" java.io.IOException: Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Prot

Android開發所遇到的BUG彙總持續更新

The following classes could not be instantiated: - android.support.v7.internal.app.WindowDecorActionBar (Open Class, Show Exceptio

【IE6的瘋狂系列】IE6 BUG大全bug徵集、整理..

IE6 bug到底令我們前端開發頭痛我就不多說了 說實話,很多東西我一直在迴避IE6的BUG,比如不用半透明的PNG。。。 但是畢竟IE6還將長期存在,而且IE6在中國比例目前還絕對多數,所以我們無法迴避。逃無可逃,退無可退! 現整理收集《【IE6的瘋狂系列】IE6 bug大

spark-shell啟動報錯:Yarn application has already ended! It might have been killed or unable to launch application master

name limits nor bsp closed pre opened 頁面 loading spark-shell不支持yarn cluster,以yarn client方式啟動 spark-shell --master=yarn --deploy-mode=cli

spark-shell啟動錯誤

HR driver 退出 HA invoke OS ctu adc default 18/06/24 16:41:40 ERROR spark.SparkContext: Error initializing SparkContext.java.net.BindExcept

一步步學spark之一scala高階特性Lower bounds下界與Upper bounds上界,View bounds檢視邊界3.7

一步步學spark之一scala高階特性中Lower bounds(下界)與Upper bounds(上界),View bounds(檢視邊界) Upper bounds(上界):我們使用一個物件或者一個類必須是什麼型別的,也就是說必須是什麼型別或者什麼型別的子類。 表示語法 <:

bug記錄-介面測試常見bug記錄學習筆記

介面測試經常遇到的bug和問題,如下: 傳入引數處理不當,導致程式crash; 型別溢位,導致資料讀出和寫入不一致; 因物件許可權未進行校驗,可以訪問其他使用者敏感資訊;---許可權校驗很重要 狀態處理不當,導致邏輯出現錯亂; 邏輯校驗不完善,可利用漏洞獲取非正當利益等。 &nb

iOS12 bug總結持續更新

第一、webview內開啟全屏播放器播放完視訊後,狀態列被隱藏 如上圖,圖一在視訊未播放時狀態列正常,圖二是全屏播放h5視訊,圖三退出全屏時狀態列消失。 修復: 全屏視訊的播放本質上是新加了一個window,且該window最終包裹了視訊播放的VC,當退出全屏視

spark-shell啟動報錯解決辦法

spark-shell啟動報錯解決辦法: scala版本不相容問題 這是因為加入了專案依賴庫到/usr/cwgis/app/spark/jars/lib/中 刪除相關的scala開頭的jar檔案即可啟動spark-shell [[email protected] ~]# run

[CDH] CDH5整合Spark2.2後spark-shell啟動報錯解決

CDH5已整合Spark2.2,spark-shell啟動報錯: [[email protected] bin]# ./spark2-shell Exception in thread "main" java.lang.NoClassDefFoundError: org/apac

Spark Shell啟動時遇到:14: error: not found: value spark import spark.implicits._ :14: error: not found: value spa

  不多說,直接上乾貨!   最近,開始,進一步學習spark的最新版本。由原來經常使用的spark-1.6.1,現在來使用spark-2.2.0-bin-hadoop2.6.tgz。 前期部落格   這裡我,使用的是spark-2.2.0-bin-hadoop2.6.tgz

Spark載入本地或者hdfs檔案以及 spark使用SparkContext例項的textFile讀取多個資料夾(巢狀)下的多個數據檔案

Spark中載入本地(或者hdfs)檔案以及 spark使用SparkContext例項的textFile讀取多個資料夾(巢狀)下的多個數據檔案 在正常呼叫過程中,難免需要對多個資料夾下的多個檔案進行讀取,然而之前只是明確了spark具備讀取多個檔案的能力。針對多個資料夾下

shell的比較if運算

比較兩個字串是否相等的辦法是:     if [ "$test"x = "test"x ]; then     這裡的關鍵有幾點:     1 使用單個等號     2 注意到等號兩邊各有一個空格:這是unix shell的要求     3 注意到"$test"x最後的x,

Spark與PandasDataFrame對比詳細

Pandas Spark 工作方式 單機single machine tool,沒有並行機制parallelism 不支援Hadoop,處理大量資料有瓶頸 分散式平行計算框架,內建並行機制parallelism,所有的資料和操作自動並行分佈在各個叢集結點上。以處

[轉]Spark與PandasDataFrame對比詳細

Pandas Spark 工作方式 單機single machine tool,沒有並行機制parallelism 不支援Hadoop,處理大量資料有瓶頸 分散式平行計算框架,內建並行機制parallelism,所有的資料和操作自動並行分佈在各個叢集結點上。以處理in-memory資料的方式處理distr

Spark-shell啟動的時候報Error while instantiating ‘org.apache.spark.sql.hive.HiveSessionStateBuilder’錯誤

call(Client.java:1475) at org.apache.hadoop.ipc.Client.call(Client.java:1408) at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngi

MYSQL在my.ini檔案新增skip-grant-tables啟動引數的副作用安全隱患

執行環境:Mysql5.7.20. 為了說明情況,首先建立一個普通使用者,名字'wxf',密碼123。如圖: 可以看到,僅授權查詢許可權。現在退出root使用者,使用建立的使用者登陸mysql。如圖

Shell指令碼的併發1

主要記錄一下Shell指令碼中的命令的併發和序列執行。 預設的情況下,Shell指令碼中的命令是序列執行的,必須等到前一條命令執行完後才執行接下來的命令,但是如果我有一大批的的命令需要執行,而且互相又沒有影響的情況下(有影響的話就比較複雜了),那麼就要使用

redis 在 php 的應用string篇

否則 發現 版本 com 偏移量 .html incrby his num 本文為我閱讀了 redis參考手冊 之後結合 博友的博客 編寫,註意 php_redis 和 redis-cli 的區別(主要是返回值類型和參數用法) 上一篇:redis 在 php 中

redis 在 php 的應用List篇

color .com 博客 長度 多個 列表 conn ref ron 本文為我閱讀了 redis參考手冊 之後結合 博友的博客 編寫,註意 php_redis 和 redis-cli 的區別(主要是返回值類型和參數用法) 目錄: 一、List(列表) 1、LPUS