Flink-1.8.1踩坑記錄
2019-09-02 18:42:01,651 INFO org.apache.flink.runtime.executiongraph.ExecutionGraph - Job DimensionState (1b47949b019929e25b8bee89539f9f1d) switched from state FAILING to FAILED. java.lang.RuntimeException: Error while creating FileSystem when initializing the state of the BucketingSink. at org.apache.flink.streaming.connectors.fs.bucketing.BucketingSink.initializeState(BucketingSink.java:379) at org.apache.flink.streaming.util.functions.StreamingFunctionUtils.tryRestoreFunction(StreamingFunctionUtils.java:178) at org.apache.flink.streaming.util.functions.StreamingFunctionUtils.restoreFunctionState(StreamingFunctionUtils.java:160) at org.apache.flink.streaming.api.operators.AbstractUdfStreamOperator.initializeState(AbstractUdfStreamOperator.java:96) at org.apache.flink.streaming.api.operators.AbstractStreamOperator.initializeState(AbstractStreamOperator.java:278) at org.apache.flink.streaming.runtime.tasks.StreamTask.initializeState(StreamTask.java:738) at org.apache.flink.streaming.runtime.tasks.StreamTask.invoke(StreamTask.java:289) at org.apache.flink.runtime.taskmanager.Task.run(Task.java:711) at java.lang.Thread.run(Unknown Source) Caused by: org.apache.flink.core.fs.UnsupportedFileSystemSchemeException: Could not find a file system implementation for scheme 'hdfs'. The scheme is not directly supported by Flink and no Hadoop file system to support this scheme could be loaded. at org.apache.flink.core.fs.FileSystem.getUnguardedFileSystem(FileSystem.java:403) at org.apache.flink.streaming.connectors.fs.bucketing.BucketingSink.createHadoopFileSystem(BucketingSink.java:1227) at org.apache.flink.streaming.connectors.fs.bucketing.BucketingSink.initFileSystem(BucketingSink.java:432) at org.apache.flink.streaming.connectors.fs.bucketing.BucketingSink.initializeState(BucketingSink.java:376) ... 8 more Caused by: org.apache.flink.core.fs.UnsupportedFileSystemSchemeException: Hadoop is not in the classpath/dependencies. at org.apache.flink.core.fs.UnsupportedSchemeFactory.create(UnsupportedSchemeFactory.java:64) at org.apache.flink.core.fs.FileSystem.getUnguardedFileSystem(FileSystem.java:399) ... 11 more 2019-09-02 18:42:01,652 INFO org.apache.flink.runtime.executiongraph.ExecutionGraph - Could not restart the job DimensionState (1b47949b019929e25b8bee89539f9f1d) because the restart strategy prevented it. java.lang.RuntimeException: Error while creating FileSystem when initializing the state of the BucketingSink. at org.apache.flink.streaming.connectors.fs.bucketing.BucketingSink.initializeState(BucketingSink.java:379) at org.apache.flink.streaming.util.functions.StreamingFunctionUtils.tryRestoreFunction(StreamingFunctionUtils.java:178) at org.apache.flink.streaming.util.functions.StreamingFunctionUtils.restoreFunctionState(StreamingFunctionUtils.java:160) at org.apache.flink.streaming.api.operators.AbstractUdfStreamOperator.initializeState(AbstractUdfStreamOperator.java:96) at org.apache.flink.streaming.api.operators.AbstractStreamOperator.initializeState(AbstractStreamOperator.java:278) at org.apache.flink.streaming.runtime.tasks.StreamTask.initializeState(StreamTask.java:738) at org.apache.flink.streaming.runtime.tasks.StreamTask.invoke(StreamTask.java:289) at org.apache.flink.runtime.taskmanager.Task.run(Task.java:711) at java.lang.Thread.run(Unknown Source) Caused by: org.apache.flink.core.fs.UnsupportedFileSystemSchemeException: Could not find a file system implementation for scheme 'hdfs'. The scheme is not directly supported by Flink and no Hadoop file system to support this scheme could be loaded. at org.apache.flink.core.fs.FileSystem.getUnguardedFileSystem(FileSystem.java:403) at org.apache.flink.streaming.connectors.fs.bucketing.BucketingSink.createHadoopFileSystem(BucketingSink.java:1227) at org.apache.flink.streaming.connectors.fs.bucketing.BucketingSink.initFileSystem(BucketingSink.java:432) at org.apache.flink.streaming.connectors.fs.bucketing.BucketingSink.initializeState(BucketingSink.java:376) ... 8 more Caused by: org.apache.flink.core.fs.UnsupportedFileSystemSchemeException: Hadoop is not in the classpath/dependencies. at org.apache.flink.core.fs.UnsupportedSchemeFactory.create(UnsupportedSchemeFactory.java:64) at org.apache.flink.core.fs.FileSystem.getUnguardedFileSystem(FileSystem.java:399) ... 11 more 2019-09-02 18:42:01,652 INFO org.apache.flink.runtime.checkpoint.CheckpointCoordinator - Stopping checkpoint coordinator for job 1b47949b019929e25b8bee89539f9f1d. 2019-09-02 18:42:01,652 INFO org.apache.flink.runtime.checkpoint.StandaloneCompletedCheckpointStore - Shutting down 2019-09-02 18:42:01,662 INFO org.apache.flink.runtime.dispatcher.StandaloneDispatcher - Job 1b47949b019929e25b8bee89539f9f1d reached globally terminal state FAILED. 2019-09-02 18:42:01,704 INFO org.apache.flink.runtime.jobmaster.JobMaster - Stopping the JobMaster for job DimensionState(1b47949b019929e25b8bee89539f9f1d). 2019-09-02 18:42:01,711 INFO org.apache.flink.runtime.jobmaster.slotpool.SlotPoolImpl - Suspending SlotPool. 2019-09-02 18:42:01,711 INFO org.apache.flink.runtime.jobmaster.JobMaster - Close ResourceManager connection 0f8cea6c8e8a3904e338bfe4b4aca43b: JobManager is shutting down.. 2019-09-02 18:42:01,711 INFO org.apache.flink.runtime.jobmaster.slotpool.SlotPoolImpl - Stopping SlotPool. 2019-09-02 18:42:01,711 INFO org.apache.flink.runtime.resourcemanager.StandaloneResourceManager - Disconnect job manager [email protected]://flink@localhost:6123/user/jobmanager_0 for job 1b47949b019929e25b8bee89539f9f1d from the resource manager. 2019-09-02 18:42:01,712 INFO org.apache.flink.runtime.jobmaster.JobManagerRunner - JobManagerRunner already shutdown.
我提取一下上面關鍵字 ,方便搜尋引擎爬取, 以試圖幫助其他人:
1. while creating FileSystem when initializing the state of the BucketingSink.
2. Could not find a file system implementation for scheme 'hdfs'. The scheme is not directly supported by Flink and no Hadoop file system to support this scheme could be loaded.
3.org.apache.flink.core.fs.UnsupportedFileSystemSchemeException: Hadoop is not in the classpath/dependencies.
具體原因就是在CLASS_PATH下缺少了 HDFS相關的jar實現
解決辦法:
在flink安裝目錄的lib下加上
flink-shaded-hadoop2-x.y.z.jar
具體x,y ,z 版本號看你的flink叢集版本和hadoop版本對應關係，
jar包下載地址:
https://mvnrepository.com/artifact/org.apache.flink/flink-shaded-hadoop2
相關推薦
Android 8.0踩坑記錄——Only fullscreen opaque activities can request orientation
原文地址：https://www.jianshu.com/p/d0d907754603 前言 各位小夥伴大家好啊，昨天屁顛屁顛把專案適配到8.0，本來覺得美滋滋，結果app一啟動直接crash，搞得我一臉懵逼。。。不能忍啊，趕緊去看一下日誌，於是就看到了如下圖 &nbs
Flink-1.8.1踩坑記錄
2019-09-02 18:42:01,651 INFO org.apache.flink.runtime.executiong
【OPNsense】18.1踩坑記錄之一：接口、DHCP Service、DHCP RELAY
size image nag ges 記錄 問題 dhcp服務 之前 接口 在進行OPNsense的DHCP中繼測試時候發現，DHCP中繼無法啟動，提示DHCP服務在運行。如下圖： 經過排查，發現在Interfaces存在一個關閉狀態的接口，啟用之後再檢查
配合Opencv2.4.9，CMake3.12.1和VS2010在win10下構建專案踩坑記錄
配合Opencv3，CMake和VS2010在win10下構建專案踩坑記錄 參考https://blog.csdn.net/qq_26623659/article/details/78322782 博文中是x64，但是我配置的是x86。 這個部落格中的內容
flutter筆記1：VScode安裝dart code插件踩坑記錄
新手 nsh 處理 官網 解決 gem 小時 添加 選擇 新手菜鳥一枚，想從產品轉入技術坑，目標：移動端APP開發。最近聽技術達人 飛狐 說flutter beta發布了，支持跨平臺APP開發，各種強大易上手，於是乎零基礎入坑~話說想提高英文水平的同學，請移步flutt
python 3.6.1 安裝scrapy踩坑之旅
ext href sta 版本 deb targe IE src pyw 系統環境：win10 64位系統安裝 python基礎環境配置不做過多的介紹 window環境安裝scrapy需要依賴pywin32，下載對應python版本的exe文件執行安裝，下載的pywin
cocoscreator[1.9.3]踩坑：togglecontainer控制元件按鈕置灰的使用注意事項
首先我要用三個臥槽臥槽臥槽來發洩一下鬱悶。。。因為這個坑週末啥都沒幹成。。mmp 1.9.3版本新建一個togglecontainer控制元件，預設會建立三個toggle控制元件子節點 點開其中一個toggle ，看一下他的屬性會發現沒有sprite控制元件。
nginx-1.8.1的安裝
-c 查看 config 沒有 通過 .cn error b- logs 1、我直接切換到root用戶下安裝，這裏需要三個插件一起配套使用的 分別是： 1.gzip 模塊需要 zlib 庫 ( 下載: http://www.zlib.NET/ )2.rewrit
回顧vue開發spa（踩坑記錄）
url 如果 after 本質 {} spa 不能 cnblogs 所有 使用vueJS開發前端頁面差不多也有大半多年了。由於項目後臺管理頁面最早都是使用JQ進行開發的，剛開始使用vue的時候，只能是直接在頁面裏面引入vueJS框架進行開發，期間把項目後臺的編輯頁面
Java ArrayList 踩坑記錄
至少 最後一個元素 get arraycopy add data his out pan 做編程的一個常識：不要在循環過程中刪除元素本身（至少是我個人的原則）。否則將發生不可預料的問題。 而最近，看到一個以前的同學寫的一段代碼就是在循環過程中刪除元素，我很是納悶啊。
react-踩坑記錄——頁面底部多出一倍高度的空白
idm 方法 left ++ dex code lock 高度 blog 掛載slider組件後頁面底部多出一倍高度的空白，如下： slider組件內容??： class Slider extends Component{ constructor(){ su
kibana 5.5 源碼編譯踩坑記錄
version echo regress ase https 記錄 arch 開發 iba 由於項目需要定制開發kibana，因此需要編譯kibana，在開發環境下運行。 註意：必須下載kibana 5.5的源碼才能正常編譯，下載release或者snapsho
java用毫秒數做日期計算的一個踩坑記錄
日期計算 封裝 blog 由於 參數 記錄 pre next 計算 錯誤示例： Date today = new Date(); Date nextMonth = new Date(today.getTime() + 30* 1000*60*60*24); printl
webAPP踩坑記錄
creat radi item nac api margin inter 側滑菜單 bind 最近公司突然給我們下了一個任務 一個星期要做出一個系統網站 外加手機app 2個同事負責 web開發 我負責手機app 的開發 今天終於初級版本做完了，記錄一
Git踩坑記錄
init git init mark ssh 工作 壓力 慢慢 and rap 前言：可能是一年或者兩年之前就聽說過了GitHub的大名，udacity的課程也上了一些，但是自己確實沒有真正用心的來學習git,現在面臨找工作的壓力，下定決心一定要將自己的項目都統一整理到gi
CentOS7.4安裝MySQL踩坑記錄
pre table tro end warning 更新 file auth lock CentOS7.4安裝MySQL踩坑記錄 time: 2018.3.19 CentOS7.4安裝MySQL時網上的文檔雖然多但是不靠譜的也多, 可能因為版本與時間的問題, 所以記錄下自
IDFA踩坑記錄
二次 tor body apps 越獄 廣告 數據遷移 開會 flight IDFA踩坑記錄： 1.iOS10.0 以下，即使打開“限制廣告跟蹤”，依然可以讀取idfa； 2.打開“限制廣告跟蹤”，然後再關閉“限制廣告跟蹤”，idfa會改變； 3.越獄機器安裝開發證書打的包
axios踩坑記錄+攔截器使用+vue cli代理跨域proxy
dex ios文檔 exports 地址 必須 主頁 mon 空白 space 1、小小的提一下vue cli腳手架前端調後端數據接口時候的本地代理跨域問題，如我在本地localhost訪問接口http://40.00.100.100:3002/是要跨域的，相當於瀏覽器設置
使用Windows下的git工具往github上傳代碼 踩坑記錄
from push 進行 其中 一個 access HA png 關聯 使用Windows下的git工具往github上傳代碼 踩坑記錄 背景 由於以前接觸的項目都是通過svn進行版本控制，現在公司項目使用git，加上自己平時有一個練手小項目，趁著周末試著把項目上傳到自己
Ajax 請求時後臺跳轉 前端頁面不更新踩坑記錄
style 返回 url direct edi pos 通過 繼續 檢查 踩坑環境：前端：Ajax post請求，json類型數據；後端 C#+MVC，前後端正常通信，但是當後臺驗證權限不通過時會RedirectToAction跳轉到登錄頁，結果現象是後臺正常執行登錄頁的渲