1. 程式人生 > >【Hadoop】6、Hadoop安裝之報錯處理

【Hadoop】6、Hadoop安裝之報錯處理

錯誤報錯

1、時間不能同步

2014.12.18
做同步時間的時候,執行命令操作:
[[email protected] ~]# /usr/sbin/ntpdate pool.ntp.org
會報錯:
Name server cannot be used, exiting18 Dec 19:39:39 ntpdate[3592]: name server cannot be used, reason: Temporary failure in name resolution

1、首先確認ntpd 服務是開啟的。
[[email protected] ~]# /etc/init.d/ntpd start
正在啟動 ntpd: [確定]

2、檢查你的DNS是否新增,如果沒有新增,就把你所使用的新增上去。
編輯檔案:

[[email protected] ~]# vi /etc/resolv.conf

Generated by NetworkManager

nameserver 202.99.144.12
nameserver 202.99.143.11

或者新增通用DNS: nameserver 8.8.8.8

測試:
[[email protected] ~]# ntpdate pool.ntp.org
18 Dec 13:40:32 ntpdate[23722]: the NTP socket is in use, exiting
[

[email protected] ~]# date -R
Thu, 18 Dec 2014 13:40:36 +0800

2、當cloudera-manager-installer.bin安裝不完全
也就是沒聯網的時候安裝的時候錯誤的時候,我們後面直接吧相應的usr/share/cmf資料夾全部刪除就好餓了

3、一個問題就是yum源無法安裝cloud-manager

yum源更新後需要匯入 key值,否則報錯如下,無法安裝相關的包。
Total size: 42 M
Downloading Packages:
warning: rpmts_HdrFromFdno: Header V3 RSA/SHA1 Signature, key ID c105b9de: NOKEY
Retrieving key from file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-5

GPG key retrieval failed: [Errno 14] Could not open/read file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-5

一般來說安裝完成後即可,安裝完這個就可以了。
如果還是不行,檢視系統的
編輯yum原始檔:替換 RPM-GPG-KEY-CentOS-5 替換為對應的 key 檔名:RPM-GPG-KEY-CentOS-6 (要全部替換)
[email protected] yum.repos.d]# vi CentOS-Base-sohu.repo
[base]
name=CentOS-$releasever - Base - sohu.com
mirrorlist=http://mirrorlist.centos.org/?release=releasever&arch=basearch&repo=os
baseurl=http://mirrors.sohu.com/centos/releasever/os/basearch/
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6

4、error: rpmts_HdrFromFdno: headerRead failed: hdr blob(982592): BAD, read returned 32296

這裡爆了一堆錯的主要原因是rpm包壞了,我從新下載就都好了

5、cdh安裝失敗,無法進行身份認證

可能我們前面配置的是對ROOT使用者進行免祕鑰,我們要對所有的使用者進行免祕鑰!!!!

6、安裝報錯無法開啟”/var/log/cloudera-scm-agent//cloudera-scm-agent.log” 讀取資料: 沒有那個檔案或目錄

這個錯誤是因為在/etc/hosts 裡IP/hostname 的對應不正確,修好之後再點選Retry 。這個錯誤是因為在/etc/hosts裡IP/hostname的對應不正確,修好之後再點選Retry 。 Cloudera Manager 會先把之前的所有操作rollback,回覆到初始狀態之後才重灌。 Cloudera Manager 會先把之前的所有操作rollback,回覆到初始狀態之後才重灌。

7、安裝失敗。 無法接收 Agent 發出的檢測訊號。

請確保主機的名稱已正確配置。
請確保埠 7182 可在 Cloudera Manager Server 上訪問(檢查防火牆規則)。
請確保正在新增的主機上的埠 9000 和 9001 空閒。
檢查正在新增的主機上 /var/log/cloudera-scm-agent/ 中的代理日誌(某些日誌可在安裝詳細資訊中找到)。

could not find config file /var/run/cloudera-scm-agent/supervisor/supervisord.conf

這個錯誤的解決是:

修改了我們/etc/hosts檔案之後,我們得重啟一下服務cloudera-scm-agent

service cloudera-scm-agent restart

8、安裝CM之後無法顯示

這裡寫圖片描述

9、7180介面打不開

用impala做實驗遇到了cloudera-scm-server dead but pid file exists問題。
問題發生的經過是這樣的:
首先我在單機配置的為2核4GB記憶體的5臺虛擬機器上安裝了cloudera manager,然後用它安裝了cdh和impala
然後一切都是正常的,我就往叢集的hdfs裡面匯入了100GB的資料
然後一切仍然是正常的,可是突然有一天,cloudera manager的web介面無法訪問了(7180埠的那個),hadoop還可以用,impala掛掉了
之前用大記憶體的虛擬機器裝上百節點的impala都是沒問題的呀,估計是記憶體不足導致的(想起來之前裝過一次單機2GB記憶體的叢集,裝完不久 cloudera manager就也打不開了,當時由於用不到這個叢集也就每臺多想),查看了一下主節點上(也就是執行cloudera manager、即cloudera-scm-server的那個節點),果然啥也沒幹記憶體就只剩下400MB了。
看來安裝impala,單機記憶體配置至少應該是8GB。

不過還是嘗試解決了這個問題:
首先交代下實驗環境:
硬體配置上面已經說了,作業系統是CentOS6.4 64位,軟體cdh4.5.0.30+impala1.2.1.850
操作步驟如下:

這裡寫圖片描述

這裡寫圖片描述

相關推薦

Hadoop6Hadoop安裝處理

錯誤報錯 1、時間不能同步 2014.12.18 做同步時間的時候,執行命令操作: [[email protected] ~]# /usr/sbin/ntpdate pool.ntp.org 會報錯: Name server

docker02docker安裝

docker一、在CentOS上安裝Docker以下版本的CentOS 支持 Docker :CentOS 7 (64-bit) # CentOS 從 7 開始,和 RHEL 7 一樣都只支持 64 位架構。CentOS 6.5 (64-bit) or later請註意,由於 Docker 的局限

JVM6聊聊JVM常用參數設置

閾值 policy 虛擬機棧 時間戳 ces 增加 action 垃圾 容易 整體考慮堆大小 -Xms3550m, 初始化堆大小。通常情況和-Xmx大小設置一樣,避免虛擬機頻繁自動計算後調整堆大小。 -Xmx3550m,最大堆大小。 考慮分代設置堆大小 首先通過jstat等

ORACLEORA-27102: out of memory處理

trac conf error 一個 linu erro 大小 spfile target ************************************************************************ ****原文:blog

AOPspring 的AOP編程:[Xlint:invalidAbsoluteTypeName]error

type col net aop mage nbsp warn control absolute AOP來發過程中,報錯如下: warning no match for this type name: net.shopxx.wx.institution.control

在RHEL 6.5上安裝gridlibcap.so.1

libc 連接 object director failed libraries create cfg 方法 報錯如下:/u01/app/11.2.0/grid/bin/clscfg.bin: error while loading shared libraries: li

TomcatJPS中常見的tomcat錯誤分析

tomcat1:請求收到,繼續處理2:操作成功收到,分析、接受3:完成此請求必須進一步處理4:請求包含一個錯誤語法或不能完成5**:服務器執行一個完全有效請求失敗 100——客戶必須繼續發出請求101——客戶要求服務器根據請求轉換HTTP協議版本 200——交易成功201——提示知道新文件的URL202——接

RestTemplete使用RestTemplete傳Json或者 {} --解決

ane DC AC system 使用 RF ack param ng- https://jira.spring.io/browse/SPR-9220?focusedCommentId=76760&page=com.atlassian.jira.plugin.sys

bug明明包存在,但ClassNotFoundException或NoClassDefFoundError

方法如下: 右鍵專案--->>properties--->>選擇Deployment Assembly--->> add--->>java Build path entries--->>next--->>全選你匯入的jar包

資料庫MySQL奇淫技巧(篇)

繼《【資料庫】MySQL奇淫技巧》,此篇為報錯梳理,整理測試時遇到的各種報錯及應對策略 1、 (1046, ‘No database selected’) 沒選擇資料庫,此問題很有可能是再執行命令或者查詢時沒針對資料庫操作,視覺化的工具一般不會出現此錯誤

Pythonjson裡的日期格式化

背景: 監控開發Jenkins釋出時的動態資訊,同步給測試,減少上線未同步測試的風險:開發提供了釋出平臺的介面(json) 問題: 1.通過python requests拿到介面內容後,發現日期格式是(備註:使用"%Y-%m-%d‘T’%H:%M:%S.%f‘Z’",報

linuxlinux:./configure命令出現;make命令:沒有指明目標

目錄 一、出現報錯 二、解決方法 一、出現報錯 使用./configure和make命令時,出現以下報錯,編譯安裝失敗:   二、解決方法 (1)解決./configure失敗報錯問題方法: 解決方法——安裝 gcc 和 C++編譯器 c

linuxCentOS 7 使用ifconfig命令:-bash: ifconfig: command not found;ip/ifcongif命令檢視網路資訊的使用

目錄 一、ip命令檢視網路資訊 二、CentOS 7啟用ifconfig命令 三、ifconfig命令檢視網路資訊 一、ip命令檢視網路資訊 (1)輸入命令檢視網絡卡資訊,找到網絡卡名稱,可以看到該網絡卡已經分配到IP地址,輸入命令: ip addr &nbs

伺服器部署全程記錄(centos6.5) 170217nginx 安裝時候:make: *** No rule to make target `build', needed by `default'. Stop. centos7 cannot find a valid base

1.安裝nginx 上傳安裝包:put E:\yz_index\installPackage\nginx-1.14.0.tar.gz 解壓:tar zxvf nginx-1.14.0.tar.gz 切換:cd nginx-1.14.0 準備編譯:./configure 編譯:ma

作業系統RedHat 7.2 yum源

RedHat 7.2 的yum源替換成CentOS 7.2 的yum源之後執行如下命令時報錯 # yum install rp-pppoe -y Loaded plugins: fastestmirror, product-id, search-disabled-repo

170217nginx 安裝時候:make: *** No rule to make target `build', needed by `default'. Stop.

出現此種情況,是linux系統沒有安裝先決條件 1、GCC——GNU編譯器集合(GCC可以使用預設包管理器的倉庫(repositories)來安裝,包管理器的選擇依賴於你使用的Linux釋出版本,包管理器有不同的實現:yum是基於Red Hat的釋出版本;apt用於Debian和Ubuntu;yast用於Su

Eclipse錯誤識別javascript檔案的解決方法

Eclipse自動解析時經常會對匯入的jQuery庫檔案或其他js外掛報錯,比如以下錯誤提示: Internal validation error java.lang.ArrayIndexOutOfBoundsException: 9 at org.eclipse.wst.

RAC執行root.sh的時候root.sh Oracle CRS stack is already configured and will be running under init(1M)

環境:oracle10g 系統:CentOS6.4 開始的時候,在節點1上執行root.sh發現出現90s 的時候hang住了,結束掉,結局完事後,再次執行root.sh報錯 WARNING: directory '/u01/app/oracle/product/10.2.

GO使用docker執行go指令碼:fork/exec /tmp/go-build730426207/b001/exe/a.exe: exec format error

問題: docker run --rm -v /search/odin/data/go_test:/usr/src/myapp -w /usr/src/myapp -e GOOS=windows -e GOARCH=386

python下的複雜網路程式設計包networkxmatplotlibnumpy安裝解決方案

前言:python和matplotlib 、 numpy、networkx Python是一種解釋性語言(儘管是高度優化過的),和C或者Fortran相比,這類語言對很多重數值演算法來說執行緩