spark-shell啟動中bug除錯(bug除錯)
報錯資訊:
Exception in thread "main" java.io.IOException: Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did not match expected tag.; Host Details : local host is: "node01/192.168.198.21"; destination host is: "node01":8080;
問題描述:
啟動spark-shell時報如上錯誤,大概看來是那個埠的問題,咋一看,還真看不出來。這是由於spark-master埠8080(後期可能有修改),和hdfs的埠:50070(狀態為active),還有hdfs的狀態埠8020混亂的問題。
解決思路:首先在spark中用“hdfs dfs -p mkdir /spark/data”,建立的檔案在hdfs上,故在conf下的spark-default下配置路徑的時候,應該配置的是hdfs的埠,並且是active狀態下的“8020”埠,而我錯誤地配置成了“8080”
解決方案:
去conf資料夾下,去檔案spark-default下修改配置的埠:
spark.eventLog.dir hdfs://node01:8080/spark/log
相關推薦
spark-shell啟動中bug除錯(bug除錯)
報錯資訊: Exception in thread "main" java.io.IOException: Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Prot
Android開發中所遇到的BUG彙總(持續更新)
The following classes could not be instantiated: - android.support.v7.internal.app.WindowDecorActionBar (Open Class, Show Exceptio
【IE6的瘋狂系列】IE6 BUG大全(bug徵集、整理中..)
IE6 bug到底令我們前端開發頭痛我就不多說了 說實話,很多東西我一直在迴避IE6的BUG,比如不用半透明的PNG。。。 但是畢竟IE6還將長期存在,而且IE6在中國比例目前還絕對多數,所以我們無法迴避。逃無可逃,退無可退! 現整理收集《【IE6的瘋狂系列】IE6 bug大
spark-shell啟動報錯:Yarn application has already ended! It might have been killed or unable to launch application master
name limits nor bsp closed pre opened 頁面 loading spark-shell不支持yarn cluster,以yarn client方式啟動 spark-shell --master=yarn --deploy-mode=cli
spark-shell啟動錯誤
HR driver 退出 HA invoke OS ctu adc default 18/06/24 16:41:40 ERROR spark.SparkContext: Error initializing SparkContext.java.net.BindExcept
一步步學spark之一scala高階特性中Lower bounds(下界)與Upper bounds(上界),View bounds(檢視邊界)3.7
一步步學spark之一scala高階特性中Lower bounds(下界)與Upper bounds(上界),View bounds(檢視邊界) Upper bounds(上界):我們使用一個物件或者一個類必須是什麼型別的,也就是說必須是什麼型別或者什麼型別的子類。 表示語法 <:
bug記錄-介面測試常見bug記錄(學習筆記)
介面測試經常遇到的bug和問題,如下: 傳入引數處理不當,導致程式crash; 型別溢位,導致資料讀出和寫入不一致; 因物件許可權未進行校驗,可以訪問其他使用者敏感資訊;---許可權校驗很重要 狀態處理不當,導致邏輯出現錯亂; 邏輯校驗不完善,可利用漏洞獲取非正當利益等。 &nb
iOS12 bug總結(持續更新)
第一、webview內開啟全屏播放器播放完視訊後,狀態列被隱藏 如上圖,圖一在視訊未播放時狀態列正常,圖二是全屏播放h5視訊,圖三退出全屏時狀態列消失。 修復: 全屏視訊的播放本質上是新加了一個window,且該window最終包裹了視訊播放的VC,當退出全屏視
spark-shell啟動報錯解決辦法
spark-shell啟動報錯解決辦法: scala版本不相容問題 這是因為加入了專案依賴庫到/usr/cwgis/app/spark/jars/lib/中 刪除相關的scala開頭的jar檔案即可啟動spark-shell [[email protected] ~]# run
[CDH] CDH5整合Spark2.2後spark-shell啟動報錯解決
CDH5已整合Spark2.2,spark-shell啟動報錯: [[email protected] bin]# ./spark2-shell Exception in thread "main" java.lang.NoClassDefFoundError: org/apac
Spark Shell啟動時遇到:14: error: not found: value spark import spark.implicits._ :14: error: not found: value spa
不多說,直接上乾貨! 最近,開始,進一步學習spark的最新版本。由原來經常使用的spark-1.6.1,現在來使用spark-2.2.0-bin-hadoop2.6.tgz。 前期部落格 這裡我,使用的是spark-2.2.0-bin-hadoop2.6.tgz
Spark中載入本地(或者hdfs)檔案以及 spark使用SparkContext例項的textFile讀取多個資料夾(巢狀)下的多個數據檔案
Spark中載入本地(或者hdfs)檔案以及 spark使用SparkContext例項的textFile讀取多個資料夾(巢狀)下的多個數據檔案 在正常呼叫過程中,難免需要對多個資料夾下的多個檔案進行讀取,然而之前只是明確了spark具備讀取多個檔案的能力。針對多個資料夾下
shell中的比較(if運算)
比較兩個字串是否相等的辦法是: if [ "$test"x = "test"x ]; then 這裡的關鍵有幾點: 1 使用單個等號 2 注意到等號兩邊各有一個空格:這是unix shell的要求 3 注意到"$test"x最後的x,
Spark與Pandas中DataFrame對比(詳細)
Pandas Spark 工作方式 單機single machine tool,沒有並行機制parallelism 不支援Hadoop,處理大量資料有瓶頸 分散式平行計算框架,內建並行機制parallelism,所有的資料和操作自動並行分佈在各個叢集結點上。以處
[轉]Spark與Pandas中DataFrame對比(詳細)
Pandas Spark 工作方式 單機single machine tool,沒有並行機制parallelism 不支援Hadoop,處理大量資料有瓶頸 分散式平行計算框架,內建並行機制parallelism,所有的資料和操作自動並行分佈在各個叢集結點上。以處理in-memory資料的方式處理distr
Spark-shell啟動的時候報Error while instantiating ‘org.apache.spark.sql.hive.HiveSessionStateBuilder’錯誤
call(Client.java:1475) at org.apache.hadoop.ipc.Client.call(Client.java:1408) at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngi
MYSQL在my.ini檔案中新增skip-grant-tables啟動引數的副作用(安全隱患)
執行環境:Mysql5.7.20. 為了說明情況,首先建立一個普通使用者,名字'wxf',密碼123。如圖: 可以看到,僅授權查詢許可權。現在退出root使用者,使用建立的使用者登陸mysql。如圖
Shell指令碼中的併發(1)
主要記錄一下Shell指令碼中的命令的併發和序列執行。 預設的情況下,Shell指令碼中的命令是序列執行的,必須等到前一條命令執行完後才執行接下來的命令,但是如果我有一大批的的命令需要執行,而且互相又沒有影響的情況下(有影響的話就比較複雜了),那麼就要使用
redis 在 php 中的應用(string篇)
否則 發現 版本 com 偏移量 .html incrby his num 本文為我閱讀了 redis參考手冊 之後結合 博友的博客 編寫,註意 php_redis 和 redis-cli 的區別(主要是返回值類型和參數用法) 上一篇:redis 在 php 中
redis 在 php 中的應用(List篇)
color .com 博客 長度 多個 列表 conn ref ron 本文為我閱讀了 redis參考手冊 之後結合 博友的博客 編寫,註意 php_redis 和 redis-cli 的區別(主要是返回值類型和參數用法) 目錄: 一、List(列表) 1、LPUS