Cloudera Manager安裝之利用parcels方式(線上或離線)安裝3或4節點叢集(包含最新穩定版本或指定版本的安裝)(新增服務)(Ubuntu14.04)(五)
前期部落格
如果大家,在啟動的時候,比如遇到如下問題,則
明明已經授權了啊,怎麼被拒絕,納尼???
解決辦法
然後,再來這樣,就可以了。
注意,在此之前。
ubuntucmbigdata1機器上,則需要執行
[email protected]:~$ sudo /usr/share/cmf/schema/scm_prepare_database.sh mysql scm scm scm_password [sudo] passwordfor bigdata: Sorry, try again. [sudo] password for bigdata: JAVA_HOME=/usr/java/jdk1.7.0_80 Verifying that we can write to /etc/cloudera-scm-server Creating SCM configuration file in /etc/cloudera-scm-server Executing: /usr/java/jdk1.7.0_80/bin/java -cp /usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java.jar:/usr/share/cmf/schema/../lib/*com.cloudera.enterprise.dbutil.DbCommandExecutor /etc/cloudera-scm-server/db.properties com.cloudera.cmf.db. [ main] DbCommandExecutor INFO Successfully connected to database. All done, your SCM database is configured correctly!
[email protected]ubuntucmbigdata1
[sudo] password for bigdata:
Starting cloudera-scm-server: * cloudera-scm-server started
[email protected]ubuntucmbigdata1:~$ sudo service cloudera-scm-agent start
[sudo] password for bigdata:
Starting cloudera-scm-agent: * cloudera-scm-agent started
然後,在ubuntucmbigdata2、ubuntucmbigdata3、ubuntucmbigdata4上
[email protected]ubuntucmbigdata2:~$ sudo service cloudera-scm-agent start
[sudo] password for bigdata:
Starting cloudera-scm-agent: * cloudera-scm-agent started
[email protected]ubuntucmbigdata3:~$ sudo service cloudera-scm-agent start
[sudo] password for bigdata:
Starting cloudera-scm-agent: * cloudera-scm-agent started
[email protected]ubuntucmbigdata4:~$ sudo service cloudera-scm-agent start
[sudo] password for bigdata:
Starting cloudera-scm-agent: * cloudera-scm-agent started
這是,因為。我之前前面4臺機器都沒有啟動服務,所以會是如下。四個自動會勾選。
有時候會是如下,
那是因為,ubuntucmbigdata3這臺的服務沒啟動。
一般,若大家按照我本博文的頂部,把每臺機器相應的服務,都啟動起來了的話,則是如下(是最好的)
或者
如果你的本地裡,已經安裝好了,比如我這裡的jdk1.7,則這裡就不需要勾選,不然會報錯後面 (但是,若大家通過我的bin方式來安裝的話,是直接沒有安裝任何jdk的,直接是上面一樣,勾選,它會自動好jdk)
http://ubuntucmbigdata1:7180/cmf/express-wizard/wizard#step=hostCredentialsStep
由此可見,我的ubuntucmbigdata2、ubuntucmbigdata3和ubuntucmbigdata4,是clouder manager agent。
如下的介面,是因為,我提前沒有安裝好,所以是線上此刻安裝的。
兩種方式都可以
或者(以下,是因為,我已經先提前在這一步安裝好了,所以是如下的介面)
若出現如下問題,則
[email protected]:~$ sudo echo 0 > /proc/sys/vm/swappiness -bash: /proc/sys/vm/swappiness: Permission denied [email protected]:~$ su root Password: [email protected]:/home/bigdata# sudo echo 0 > /proc/sys/vm/swappiness [email protected]:/home/bigdata# [email protected]:~$ sudo echo 0 > /proc/sys/vm/swappiness -bash: /proc/sys/vm/swappiness: Permission denied [email protected]:~$ su root Password: [email protected]:/home/bigdata# sudo echo 0 > /proc/sys/vm/swappiness [email protected]:/home/bigdata# [email protected]:~$ sudo echo 0 > /proc/sys/vm/swappiness -bash: /proc/sys/vm/swappiness: Permission denied [email protected]:~$ su root Password: [email protected]:/home/bigdata# sudo echo 0 > /proc/sys/vm/swappiness [email protected]:/home/bigdata# [email protected]:~$ sudo echo 0 > /proc/sys/vm/swappiness -bash: /proc/sys/vm/swappiness: Permission denied [email protected]:~$ su root Password: [email protected]:/home/bigdata# sudo echo 0 > /proc/sys/vm/swappiness [email protected]:/home/bigdata#
然後,接下來,這一步,其實跟我另外寫的一篇用ambari是一樣的。
最後,我的初步安裝是
其實,也跟我寫的這篇部落格也類似
這裡,我的資料庫設定是在下面的部落格就已經設定好了的。
若是centos系統,則是可以直接
[[email protected] ~]# yum install mysql-connector-java Is this ok [y/N]: y
就好了。
但是,在ubuntu系統裡,
[email protected]:/home/bigdata# apt-get install libmysql-java
則會失敗。
解決辦法1
[email protected]:~# sudo /etc/init.d/mysql start
檢視你的mysql服務啟動沒。
解決辦法2
[email protected]:/usr/share/java# pwd /usr/share/java [email protected]:/usr/share/java# ls gettext.jar java_defaults.mk java_uno.jar juh-4.2.8.jar juh.jar jurt-4.2.8.jar jurt.jar libintl.jar mysql-connector-java-5.1.28.jar mysql-connector-java.jar mysql.jar ridl-4.2.8.jar ridl.jar unoloader.jar [email protected]:/usr/share/java# sudo cp /usr/share/java/mysql-connector-java-5.1.28.jar /var/lib/oozie [email protected]:/usr/share/java# cd /var/lib//oozie/ [email protected]:/var/lib/oozie# ls examples.desktop mysql-connector-java-5.1.28.jar [email protected]:/var/lib/oozie#
sudo cp /usr/share/java/mysql-connector-java-5.1.28.jar /var/lib/oozie
[email protected]:/opt/cloudera/parcels/CDH-5.6.0-1.cdh5.6.0.p0.45/lib$ pwd /opt/cloudera/parcels/CDH-5.6.0-1.cdh5.6.0.p0.45/lib [email protected]:/opt/cloudera/parcels/CDH-5.6.0-1.cdh5.6.0.p0.45/lib$ ls avro debug hadoop-hdfs hadoop-yarn hive-hcatalog kite libImpalaUdf-retail.a libzookeeper_mt.so.2 libzookeeper_st.so mahout search sqoop zookeeper-native bigtop-tomcat flume-ng hadoop-httpfs hbase hue libhdfs.so libzookeeper_mt.a libzookeeper_mt.so.2.0.0 libzookeeper_st.so.2 oozie sentry sqoop2 bigtop-utils hadoop hadoop-kms hbase-solr impala libhdfs.so.0.0.0 libzookeeper_mt.la libzookeeper_st.a libzookeeper_st.so.2.0.0 parquet solr whirr crunch hadoop-0.20-mapreduce hadoop-mapreduce hive impala-shell libImpalaUdf-debug.a libzookeeper_mt.so libzookeeper_st.la llama pig spark zookeeper [email protected]:/opt/cloudera/parcels/CDH-5.6.0-1.cdh5.6.0.p0.45/lib$ cd hive [email protected]:/opt/cloudera/parcels/CDH-5.6.0-1.cdh5.6.0.p0.45/lib/hive$ ls bin cloudera conf lib LICENSE NOTICE scripts sentry [email protected]:/opt/cloudera/parcels/CDH-5.6.0-1.cdh5.6.0.p0.45/lib/hive$ cd lib/ [email protected]:/opt/cloudera/parcels/CDH-5.6.0-1.cdh5.6.0.p0.45/lib/hive/lib$ ls accumulo-core-1.6.0.jar commons-compress-1.4.1.jar hbase-client.jar hive-jdbc-1.1.0-cdh5.6.0.jar jackson-databind-2.2.2.jar metrics-jvm-3.0.2.jar accumulo-fate-1.6.0.jar commons-configuration-1.6.jar hbase-common.jar hive-jdbc-1.1.0-cdh5.6.0-standalone.jar jackson-jaxrs-1.9.2.jar opencsv-2.3.jar accumulo-start-1.6.0.jar commons-dbcp-1.4.jar hbase-hadoop2-compat.jar hive-jdbc.jar jackson-xc-1.9.2.jar oro-2.0.8.jar accumulo-trace-1.6.0.jar commons-digester-1.8.jar hbase-hadoop-compat.jar hive-jdbc-standalone.jar janino-2.7.6.jar paranamer-2.3.jar activation-1.1.jar commons-httpclient-3.0.1.jar hbase-protocol.jar hive-metastore-1.1.0-cdh5.6.0.jar jcommander-1.32.jar parquet-hadoop-bundle.jar ant-1.9.1.jar commons-io-2.4.jar hbase-server.jar hive-metastore.jar jdo-api-3.0.1.jar pentaho-aggdesigner-algorithm-5.1.5-jhyde.jar ant-launcher-1.9.1.jar commons-lang-2.6.jar high-scale-lib-1.1.1.jar hive-serde-1.1.0-cdh5.6.0.jar jersey-server-1.14.jar php antlr-2.7.7.jar commons-logging-1.1.3.jar hive-accumulo-handler-1.1.0-cdh5.6.0.jar hive-serde.jar jersey-servlet-1.14.jar plexus-utils-1.5.6.jar antlr-runtime-3.4.jar commons-math-2.1.jar hive-accumulo-handler.jar hive-service-1.1.0-cdh5.6.0.jar jetty-all-7.6.0.v20120127.jar py apache-curator-2.6.0.pom commons-pool-1.5.4.jar hive-ant-1.1.0-cdh5.6.0.jar hive-service.jar jetty-all-server-7.6.0.v20120127.jar regexp-1.3.jar apache-log4j-extras-1.2.17.jar commons-vfs2-2.0.jar hive-ant.jar hive-shims-0.23-1.1.0-cdh5.6.0.jar jline-2.12.jar servlet-api-2.5.jar asm-3.2.jar curator-client-2.6.0.jar hive-beeline-1.1.0-cdh5.6.0.jar hive-shims-0.23.jar jpam-1.1.jar snappy-java-1.0.4.1.jar asm-commons-3.1.jar curator-framework-2.6.0.jar hive-beeline.jar hive-shims-1.1.0-cdh5.6.0.jar jsr305-3.0.0.jar ST4-4.0.4.jar asm-tree-3.1.jar datanucleus-api-jdo-3.2.6.jar hive-cli-1.1.0-cdh5.6.0.jar hive-shims-common-1.1.0-cdh5.6.0.jar jta-1.1.jar stax-api-1.0.1.jar avro.jar datanucleus-core-3.2.10.jar hive-cli.jar hive-shims-common.jar junit-4.11.jar stringtemplate-3.2.1.jar bonecp-0.8.0.RELEASE.jar datanucleus-rdbms-3.2.9.jar hive-common-1.1.0-cdh5.6.0.jar hive-shims.jar libfb303-0.9.2.jar super-csv-2.2.0.jar calcite-avatica-1.0.0-incubating.jar derby-10.11.1.1.jar hive-common.jar hive-shims-scheduler-1.1.0-cdh5.6.0.jar libthrift-0.9.2.jar tempus-fugit-1.1.jar calcite-core-1.0.0-incubating.jar eigenbase-properties-1.1.4.jar hive-contrib-1.1.0-cdh5.6.0.jar hive-shims-scheduler.jar log4j-1.2.16.jar velocity-1.5.jar calcite-linq4j-1.0.0-incubating.jar geronimo-annotation_1.0_spec-1.1.1.jar hive-contrib.jar hive-testutils-1.1.0-cdh5.6.0.jar logredactor-1.0.3.jar xz-1.0.jar commons-beanutils-1.7.0.jar geronimo-jaspic_1.0_spec-1.0.jar hive-exec-1.1.0-cdh5.6.0.jar hive-testutils.jar mail-1.4.1.jar zookeeper.jar commons-beanutils-core-1.8.0.jar geronimo-jta_1.1_spec-1.1.1.jar hive-exec.jar htrace-core.jar maven-scm-api-1.4.jar commons-cli-1.2.jar groovy-all-2.4.4.jar hive-hbase-handler-1.1.0-cdh5.6.0.jar httpclient-4.2.5.jar maven-scm-provider-svn-commons-1.4.jar commons-codec-1.4.jar gson-2.2.4.jar hive-hbase-handler.jar httpcore-4.2.5.jar maven-scm-provider-svnexe-1.4.jar commons-collections-3.2.2.jar guava-14.0.1.jar hive-hwi-1.1.0-cdh5.6.0.jar jackson-annotations-2.2.2.jar metrics-core-3.0.2.jar commons-compiler-2.7.6.jar hamcrest-core-1.1.jar hive-hwi.jar jackson-core-2.2.2.jar metrics-json-3.0.2.jar [email protected]:/opt/cloudera/parcels/CDH-5.6.0-1.cdh5.6.0.p0.45/lib/hive/lib$ cp /usr/share/java/mysql-connector-java-5.1.28.jar . cp: cannot create regular file ‘./mysql-connector-java-5.1.28.jar’: Permission denied [email protected]:/opt/cloudera/parcels/CDH-5.6.0-1.cdh5.6.0.p0.45/lib/hive/lib$ sudo cp /usr/share/java/mysql-connector-java-5.1.28.jar . [sudo] password for bigdata: [email protected]:/opt/cloudera/parcels/CDH-5.6.0-1.cdh5.6.0.p0.45/lib/hive/lib$ ls accumulo-core-1.6.0.jar commons-compress-1.4.1.jar hbase-client.jar hive-jdbc-1.1.0-cdh5.6.0.jar jackson-databind-2.2.2.jar metrics-jvm-3.0.2.jar accumulo-fate-1.6.0.jar commons-configuration-1.6.jar hbase-common.jar hive-jdbc-1.1.0-cdh5.6.0-standalone.jar jackson-jaxrs-1.9.2.jar mysql-connector-java-5.1.28.jar accumulo-start-1.6.0.jar commons-dbcp-1.4.jar hbase-hadoop2-compat.jar hive-jdbc.jar jackson-xc-1.9.2.jar opencsv-2.3.jar
[email protected]:~# mysql -uhive -hubuntucmbigdata1 -phive_password ERROR 2003 (HY000): Can't connect to MySQL server on 'ubuntucmbigdata1' (111) [email protected]:~# mysql -uhive -hlocalhost -phive_password Welcome to the MySQL monitor. Commands end with ; or \g. Your MySQL connection id is 58 Server version: 5.5.55-0ubuntu0.14.04.1 (Ubuntu) Copyright (c) 2000, 2017, Oracle and/or its affiliates. All rights reserved. Oracle is a registered trademark of Oracle Corporation and/or its affiliates. Other names may be trademarks of their respective owners. Type 'help;' or '\h' for help. Type '\c' to clear the current input statement. mysql> exit;
斷定不是授權的問題。
#bind-address = 127.0.0.1
下面這裡,大家看看就好,以後是可以更改的。
說白了,這裡是啟動的總介面,但是呢,我們若這裡沒啟動成功,沒關係,可以在後面,單獨來啟動!(具體如下的詳細步驟)
http://ubuntucmbigdata1:7180/cmf/clusters/2/express-add-services/index#step=commandDetailsStep
參考
Ubuntu Server 14.04 安裝部署 CDH5.7.2
https://www.zybuluo.com/ncepuwanghui/note/474966
歡迎大家,加入我的微信公眾號:大資料躺過的坑 免費給分享同時,大家可以關注我的個人部落格:
http://www.cnblogs.com/zlslch/ 和 http://www.cnblogs.com/lchzls/
人生苦短,我願分享。本公眾號將秉持活到老學到老學習無休止的交流分享開源精神,匯聚於網際網路和個人學習工作的精華乾貨知識,一切來於網際網路,反饋回網際網路。
目前研究領域:大資料、機器學習、深度學習、人工智慧、資料探勘、資料分析。 語言涉及:Java、Scala、Python、Shell、Linux等 。同時還涉及平常所使用的手機、電腦和網際網路上的使用技巧、問題和實用軟體。 只要你一直關注和呆在群裡,每天必須有收穫
以及對應本平臺的QQ群:161156071(大資料躺過的坑)
相關推薦
Cloudera Manager安裝之利用parcels方式安裝3或4節點叢集(包含最新穩定版本或指定版本的安裝)(新增服務)(CentOS6.5)(五)
參考部落格 ClouderManager官網的安裝歷史穩定版 https://www.cloudera.com/documentation/manager/5-1-x/Cloudera-Manager-Installation-Guide/cm5ig_install_ol
Cloudera Manager安裝之利用parcels方式安裝單節點叢集(包含最新穩定版本或指定版本的安裝)(新增服務)(CentOS6.5)(四)
前期部落格 說在前面的話(看清楚就好!!!) 我這篇部落格,是兩種方式都使用過:(在/etc/yum.repos.d下的) [[email protected]clouderamanager01 yum.repos.d]$ sudo vi cl
Cloudera Manager安裝之利用parcels方式(線上或離線)安裝3或4節點叢集(包含最新穩定版本或指定版本的安裝)(新增服務)(Ubuntu14.04)(五)
前期部落格 如果大家,在啟動的時候,比如遇到如下問題,則 明明已經授權了啊,怎麼被拒絕,納尼??? 解決辦法 然後,再來這樣,就可以了。 注意,在此之前
Eclipse/Myeclipse/Scala IDEA for Eclipse裡兩種新增外掛的方法(線上和離線)
不多說,直接上乾貨! 方法1:線上安裝 第一步,在eclipse選單欄下,選中help ---->Install New Software 第二步,點選圖中 add 新增軟體下載地址 第三步 ,選中需要的內容,安
win7下VS2015編譯tensorflow原始碼教程(線上和離線)及呼叫配置
這段時間一直用python程式碼import tensorflow和keras的庫,來搭建CNN框架進行影象的訓練和預測,現在想用tensorflow的c++版來改寫實現。故想自己編譯一份tensroflow的lib和dll檔案,建立工程呼叫其來實現相同的功能。本部落格主要
Eclipse外掛安裝(線上和離線方式)
我們都知道Eclipse是基於外掛的,外掛為Eclipse提供了極大的擴充套件能力。我們經常會用到一些Eclipse中沒有給我提供的一些功能,比如SVN,比如Thymeleaf的編輯工具,比如ADTBundle等等,都是通過外掛來完成,那麼我們該如何安裝我們需要的外掛到Ecl
Qt實用技巧:基於tcp的C/S構架多人聊天程式(線上、離線、離線資訊再次登入後傳送等)
需求 多人聊天室程式,基於TCP和C/S構架,需要離線後可對離線者傳送資訊,待離線者上線後可收到上次傳送的離線資訊 技術點 1.TCP連線伺服器 2.伺服器得儲存所有客戶端列表,包括線上的不線上的 3.伺服器得通知每個客戶端當前線上
更多免費初級中級高階大資料java視訊教程下載 加(微***信((號keepper,請備註java或掃下面2二3維4碼尚矽谷Java開發利器:IntelliJ IDEA的安裝、配置與使用
更多免費初級中級高階大資料java視訊教程下載 加(微***信((號keepper,請備註java或掃下面2二3維4碼尚矽谷Java開發利器:IntelliJ IDEA的安裝、配置與使用java視訊教程1-課件java視訊教程1-課件java視訊教程~$谷_宋紅康_IntelliJIDEA的安裝、配置與使用.
Linux 下Redis叢集安裝部署及使用詳解(線上和離線兩種安裝+相關錯誤解決方案)
一、應用場景介紹 本文主要是介紹Redis叢集在Linux環境下的安裝講解,其中主要包括在聯網的Linux環境和離線的Linux環境下是如何安裝的。因為大多數時候,公司的生產環境是在內網環境下,無外網,伺服器處於離線狀態(最近公司要上線專案,就是無外網環境的Linux,被離線安裝坑慘了,走了很多彎路,說多
一、centos6.6安裝Docker 1.7.1 / linux核心2.6升級到3.11.4
Docker官網上針對Centos的的安裝需求如下: Docker requires a 64-bit installation regardless of your CentOS version. Also, your kernel must be 3.10 at min
Ubuntu14.04下Ambari安裝搭建部署大資料叢集(圖文分五大步詳解)(博主強烈推薦)
不多說,直接上乾貨! 寫在前面的話 (1) 最近一段時間,因擔任我團隊實驗室的大資料環境叢集真實物理機器工作,至此,本人秉持負責、認真和細心的態度,先分別在虛擬機器上模擬搭建ambari(基於CentOS6.5版本)和cloudermanager(基於CentOS6.5或Ub
手動安裝cloudera manager 5.x(tar包方式)詳解
text res 三種 href none bin -i min devel 官方共給出了3中安裝方式:第一種方法必須要求所有機器都能連網,由於最近各種國外的網站被墻的厲害,我嘗試了幾次各種超時錯誤,巨耽誤時間不說,一旦失敗,重裝非常痛苦。第二種方法下載很多包。第三種方法對
AIX下RAC搭建 Oracle10G(五)安裝oracle、建立監聽
soft lsnrctl term 例如 strong href lan cor pad AIX下RAC搭建系列 AIX下RAC搭建 Oracle10G(五)安裝oracle、建立監聽 環境 節點 節點1 節點2 小機型號
ubuntu14.04 64位安裝WPS(成功解決沒有ia32-libs的問題)
col lun 又一 target rest .com update sudo lan 前幾天,就把自己的系統換成了ubuntu14.04 64位的。然後就是安裝WPS了(戳這裏進入官網下載)。因為官網提供的WPS是32位的操作系統,所以64位的操作系統不
在Ubuntu14.04下安裝 ffmpeg-2.4.13(處理視頻用,將視頻保存為圖片序列)
ibm blog 提取 ext aac sta video images bmp 首先在 http://www.ffmpeg.org/olddownload.html 下載 ffmpeg-2.4.13.tar.bz2 ; 然後安裝 yasm 和 libx264: apt
Ubuntu14.04下安裝 boost (boost_1.54 最簡單的方法)
urn 分享 ubun 命令 寫入 return test 簡單的 logs 直接執行命令: sudo apt-get install libboost-dev 測試: 創建一個 boost_test.cpp 文件,寫入 #include <boost/lexi
【轉】JMeter學習(二十五)HTTP屬性管理器HTTP Cookie Manager、HTTP Request Defaults
agen 讀取 expired fault 範圍 運行時 ear 定制 只有一個 Test Plan的配置元件中有一些和HTTP屬性相關的元件:HTTP Cache Manager、HTTP Authorization Manager、HTTP Cookie Manager
ESP32搭建3.ubuntu14.04下搭建esp32開發環境 (最新版)
終端 pat 權限 技術 實例 為我 tro component 直接 硬件為樂鑫出品的ESP32一款集成了wifi和藍牙的集成模塊。 1.首先ctrl+alt+t打開終端,sudo -s選擇用root權限登陸 。 2. 輸入指令:sudo apt-get install
kubernetes 1.8 高可用安裝(五)
k8s 1.8 calico 網絡5安裝網絡組件calico安裝前需要確認kubelet配置是否已經增加--network-plugin=cni如果沒有配置就加到kubelet配置文件裏Environment="KUBELET_NETWORK_ARGS=--network-plugin=cni --cni-
docker 學習(五) virtualBox虛擬機安裝docker
問題 spring servers rtu info fig 很多 配置 doc 這裏計劃用virtualBox虛擬機安裝兩個ubuntu servers, 然後用docker把spring boot項目部署上去,模擬一下分布式的微服務情況。 1:安裝virtualbox,