1. 程式人生 > >記一次hive客戶端部署的問題

記一次hive客戶端部署的問題

場景:cdh叢集正常的執行,要從遠端安裝hive客戶端連線cdh叢集進行資料操作。

1.客戶端的版本要和cdh的hive版本保持一致

2.本地安裝hadoop環境,配置好core-site、hdfs-site、yarn-site幾個配置檔案

3.hive-site配置好元資料庫以及遠端的hive metadata連線

4.啟動本地hive,能進行正常的語句

報錯:

1.本地執行(localhadoop)的時候,會直接報錯

    本地執行一般是join的時候或者資料量很小的時候。一般的設定是

 <property>
    <name>hive.exec.mode.local.auto</name>
    <value>false</value>
  </property>
這個讓mapreduce不在本地模式跑。

然後需要配置maped-site 配置框架是

<property>

       <name>mapreduce.framework.name</name>

       <value>yarn</value>

</property>

以及yarn-site配置

resource-manager的訪問地址 以及排程器的地址和埠。

最終任務能提交到遠端的rm,但是報錯Hadoop job information for Stage-1: number of mappers: 0; number of reducers: 0

目測是資源的問題,可以在http的網站上看報錯。

2.本地執行的時候,磁碟滿了報錯

     這個一般是在/tmp/hadoop-root/mapred/local/localRunner/root/jobcache目錄底下快取的本地job檔案,這個會有幾百G,要清理。