1. 程式人生 > >Cloudera Manager安裝之利用parcels方式(線上或離線)安裝3或4節點叢集(包含最新穩定版本或指定版本的安裝)(新增服務)(Ubuntu14.04)(五)

Cloudera Manager安裝之利用parcels方式(線上或離線)安裝3或4節點叢集(包含最新穩定版本或指定版本的安裝)(新增服務)(Ubuntu14.04)(五)

  前期部落格

  如果大家,在啟動的時候,比如遇到如下問題,則

 

    明明已經授權了啊,怎麼被拒絕,納尼???

 

  解決辦法

   然後,再來這樣,就可以了。

   注意,在此之前。

  ubuntucmbigdata1機器上,則需要執行

[email protected]:~$ sudo /usr/share/cmf/schema/scm_prepare_database.sh mysql scm scm scm_password

[sudo] password 
for bigdata: Sorry, try again. [sudo] password for bigdata: JAVA_HOME=/usr/java/jdk1.7.0_80 Verifying that we can write to /etc/cloudera-scm-server Creating SCM configuration file in /etc/cloudera-scm-server Executing: /usr/java/jdk1.7.0_80/bin/java -cp /usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java.jar:/usr/share/cmf/schema/../lib/*
com.cloudera.enterprise.dbutil.DbCommandExecutor /etc/cloudera-scm-server/db.properties com.cloudera.cmf.db. [ main] DbCommandExecutor INFO Successfully connected to database. All done, your SCM database is configured correctly!

[email protected]ubuntucmbigdata1

:~$ sudo service cloudera-scm-server start
[sudo] password for bigdata: 
Starting cloudera-scm-server: * cloudera-scm-server started

[email protected]:~$

[email protected]ubuntucmbigdata1:~$ sudo service cloudera-scm-agent start
[sudo] password for bigdata:
Starting cloudera-scm-agent: * cloudera-scm-agent started

[email protected]:~$

  然後,在ubuntucmbigdata2、ubuntucmbigdata3、ubuntucmbigdata4上

[email protected]ubuntucmbigdata2:~$ sudo service cloudera-scm-agent start
[sudo] password for bigdata:
Starting cloudera-scm-agent: * cloudera-scm-agent started

[email protected]:~$

[email protected]ubuntucmbigdata3:~$ sudo service cloudera-scm-agent start
[sudo] password for bigdata:
Starting cloudera-scm-agent: * cloudera-scm-agent started

[email protected]:~$

[email protected]ubuntucmbigdata4:~$ sudo service cloudera-scm-agent start
[sudo] password for bigdata:
Starting cloudera-scm-agent: * cloudera-scm-agent started

[email protected]:~$

 

   這是,因為。我之前前面4臺機器都沒有啟動服務,所以會是如下。四個自動會勾選。

   有時候會是如下,

  那是因為,ubuntucmbigdata3這臺的服務沒啟動。

  一般,若大家按照我本博文的頂部,把每臺機器相應的服務,都啟動起來了的話,則是如下(是最好的)

 

 

  或者

   如果你的本地裡,已經安裝好了,比如我這裡的jdk1.7,則這裡就不需要勾選,不然會報錯後面 (但是,若大家通過我的bin方式來安裝的話,是直接沒有安裝任何jdk的,直接是上面一樣,勾選,它會自動好jdk)

http://ubuntucmbigdata1:7180/cmf/express-wizard/wizard#step=hostCredentialsStep

 

   由此可見,我的ubuntucmbigdata2、ubuntucmbigdata3和ubuntucmbigdata4,是clouder manager agent。

   如下的介面,是因為,我提前沒有安裝好,所以是線上此刻安裝的。

   兩種方式都可以

   或者(以下,是因為,我已經先提前在這一步安裝好了,所以是如下的介面)

 

 

   若出現如下問題,則

[email protected]:~$ sudo echo 0 > /proc/sys/vm/swappiness
-bash: /proc/sys/vm/swappiness: Permission denied
[email protected]:~$ su root
Password: 
[email protected]:/home/bigdata# sudo echo 0 > /proc/sys/vm/swappiness
[email protected]:/home/bigdata# 


[email protected]:~$ sudo echo 0 > /proc/sys/vm/swappiness
-bash: /proc/sys/vm/swappiness: Permission denied
[email protected]:~$ su root
Password: 
[email protected]:/home/bigdata# sudo echo 0 > /proc/sys/vm/swappiness
[email protected]:/home/bigdata# 



[email protected]:~$ sudo echo 0 > /proc/sys/vm/swappiness
-bash: /proc/sys/vm/swappiness: Permission denied
[email protected]:~$ su root
Password: 
[email protected]:/home/bigdata# sudo echo 0 > /proc/sys/vm/swappiness
[email protected]:/home/bigdata# 



[email protected]:~$ sudo echo 0 > /proc/sys/vm/swappiness
-bash: /proc/sys/vm/swappiness: Permission denied
[email protected]:~$ su root
Password: 
[email protected]:/home/bigdata# sudo echo 0 > /proc/sys/vm/swappiness
[email protected]:/home/bigdata# 

 

 

 

 然後,接下來,這一步,其實跟我另外寫的一篇用ambari是一樣的。

   最後,我的初步安裝是

   其實,也跟我寫的這篇部落格也類似

 

 

 

   這裡,我的資料庫設定是在下面的部落格就已經設定好了的。

   若是centos系統,則是可以直接

[[email protected] ~]# yum install mysql-connector-java
Is this ok [y/N]: y

  就好了。

  但是,在ubuntu系統裡,

[email protected]:/home/bigdata# apt-get install libmysql-java

  則會失敗。

   解決辦法1

[email protected]:~# sudo /etc/init.d/mysql start

  檢視你的mysql服務啟動沒。

  解決辦法2

[email protected]:/usr/share/java# pwd
/usr/share/java
[email protected]:/usr/share/java# ls
gettext.jar  java_defaults.mk  java_uno.jar  juh-4.2.8.jar  juh.jar  jurt-4.2.8.jar  jurt.jar  libintl.jar  mysql-connector-java-5.1.28.jar  mysql-connector-java.jar  mysql.jar  ridl-4.2.8.jar  ridl.jar  unoloader.jar
[email protected]:/usr/share/java# sudo cp /usr/share/java/mysql-connector-java-5.1.28.jar /var/lib/oozie
[email protected]:/usr/share/java# cd /var/lib//oozie/
[email protected]:/var/lib/oozie# ls
examples.desktop  mysql-connector-java-5.1.28.jar
[email protected]:/var/lib/oozie# 
  1. sudo cp /usr/share/java/mysql-connector-java-5.1.28.jar /var/lib/oozie

[email protected]:/opt/cloudera/parcels/CDH-5.6.0-1.cdh5.6.0.p0.45/lib$ pwd
/opt/cloudera/parcels/CDH-5.6.0-1.cdh5.6.0.p0.45/lib
[email protected]:/opt/cloudera/parcels/CDH-5.6.0-1.cdh5.6.0.p0.45/lib$ ls
avro           debug                  hadoop-hdfs       hadoop-yarn  hive-hcatalog  kite                  libImpalaUdf-retail.a  libzookeeper_mt.so.2      libzookeeper_st.so        mahout   search  sqoop      zookeeper-native
bigtop-tomcat  flume-ng               hadoop-httpfs     hbase        hue            libhdfs.so            libzookeeper_mt.a      libzookeeper_mt.so.2.0.0  libzookeeper_st.so.2      oozie    sentry  sqoop2
bigtop-utils   hadoop                 hadoop-kms        hbase-solr   impala         libhdfs.so.0.0.0      libzookeeper_mt.la     libzookeeper_st.a         libzookeeper_st.so.2.0.0  parquet  solr    whirr
crunch         hadoop-0.20-mapreduce  hadoop-mapreduce  hive         impala-shell   libImpalaUdf-debug.a  libzookeeper_mt.so     libzookeeper_st.la        llama                     pig      spark   zookeeper
[email protected]:/opt/cloudera/parcels/CDH-5.6.0-1.cdh5.6.0.p0.45/lib$ cd hive
[email protected]:/opt/cloudera/parcels/CDH-5.6.0-1.cdh5.6.0.p0.45/lib/hive$ ls
bin  cloudera  conf  lib  LICENSE  NOTICE  scripts  sentry
[email protected]:/opt/cloudera/parcels/CDH-5.6.0-1.cdh5.6.0.p0.45/lib/hive$ cd lib/
[email protected]:/opt/cloudera/parcels/CDH-5.6.0-1.cdh5.6.0.p0.45/lib/hive/lib$ ls
accumulo-core-1.6.0.jar               commons-compress-1.4.1.jar              hbase-client.jar                          hive-jdbc-1.1.0-cdh5.6.0.jar             jackson-databind-2.2.2.jar              metrics-jvm-3.0.2.jar
accumulo-fate-1.6.0.jar               commons-configuration-1.6.jar           hbase-common.jar                          hive-jdbc-1.1.0-cdh5.6.0-standalone.jar  jackson-jaxrs-1.9.2.jar                 opencsv-2.3.jar
accumulo-start-1.6.0.jar              commons-dbcp-1.4.jar                    hbase-hadoop2-compat.jar                  hive-jdbc.jar                            jackson-xc-1.9.2.jar                    oro-2.0.8.jar
accumulo-trace-1.6.0.jar              commons-digester-1.8.jar                hbase-hadoop-compat.jar                   hive-jdbc-standalone.jar                 janino-2.7.6.jar                        paranamer-2.3.jar
activation-1.1.jar                    commons-httpclient-3.0.1.jar            hbase-protocol.jar                        hive-metastore-1.1.0-cdh5.6.0.jar        jcommander-1.32.jar                     parquet-hadoop-bundle.jar
ant-1.9.1.jar                         commons-io-2.4.jar                      hbase-server.jar                          hive-metastore.jar                       jdo-api-3.0.1.jar                       pentaho-aggdesigner-algorithm-5.1.5-jhyde.jar
ant-launcher-1.9.1.jar                commons-lang-2.6.jar                    high-scale-lib-1.1.1.jar                  hive-serde-1.1.0-cdh5.6.0.jar            jersey-server-1.14.jar                  php
antlr-2.7.7.jar                       commons-logging-1.1.3.jar               hive-accumulo-handler-1.1.0-cdh5.6.0.jar  hive-serde.jar                           jersey-servlet-1.14.jar                 plexus-utils-1.5.6.jar
antlr-runtime-3.4.jar                 commons-math-2.1.jar                    hive-accumulo-handler.jar                 hive-service-1.1.0-cdh5.6.0.jar          jetty-all-7.6.0.v20120127.jar           py
apache-curator-2.6.0.pom              commons-pool-1.5.4.jar                  hive-ant-1.1.0-cdh5.6.0.jar               hive-service.jar                         jetty-all-server-7.6.0.v20120127.jar    regexp-1.3.jar
apache-log4j-extras-1.2.17.jar        commons-vfs2-2.0.jar                    hive-ant.jar                              hive-shims-0.23-1.1.0-cdh5.6.0.jar       jline-2.12.jar                          servlet-api-2.5.jar
asm-3.2.jar                           curator-client-2.6.0.jar                hive-beeline-1.1.0-cdh5.6.0.jar           hive-shims-0.23.jar                      jpam-1.1.jar                            snappy-java-1.0.4.1.jar
asm-commons-3.1.jar                   curator-framework-2.6.0.jar             hive-beeline.jar                          hive-shims-1.1.0-cdh5.6.0.jar            jsr305-3.0.0.jar                        ST4-4.0.4.jar
asm-tree-3.1.jar                      datanucleus-api-jdo-3.2.6.jar           hive-cli-1.1.0-cdh5.6.0.jar               hive-shims-common-1.1.0-cdh5.6.0.jar     jta-1.1.jar                             stax-api-1.0.1.jar
avro.jar                              datanucleus-core-3.2.10.jar             hive-cli.jar                              hive-shims-common.jar                    junit-4.11.jar                          stringtemplate-3.2.1.jar
bonecp-0.8.0.RELEASE.jar              datanucleus-rdbms-3.2.9.jar             hive-common-1.1.0-cdh5.6.0.jar            hive-shims.jar                           libfb303-0.9.2.jar                      super-csv-2.2.0.jar
calcite-avatica-1.0.0-incubating.jar  derby-10.11.1.1.jar                     hive-common.jar                           hive-shims-scheduler-1.1.0-cdh5.6.0.jar  libthrift-0.9.2.jar                     tempus-fugit-1.1.jar
calcite-core-1.0.0-incubating.jar     eigenbase-properties-1.1.4.jar          hive-contrib-1.1.0-cdh5.6.0.jar           hive-shims-scheduler.jar                 log4j-1.2.16.jar                        velocity-1.5.jar
calcite-linq4j-1.0.0-incubating.jar   geronimo-annotation_1.0_spec-1.1.1.jar  hive-contrib.jar                          hive-testutils-1.1.0-cdh5.6.0.jar        logredactor-1.0.3.jar                   xz-1.0.jar
commons-beanutils-1.7.0.jar           geronimo-jaspic_1.0_spec-1.0.jar        hive-exec-1.1.0-cdh5.6.0.jar              hive-testutils.jar                       mail-1.4.1.jar                          zookeeper.jar
commons-beanutils-core-1.8.0.jar      geronimo-jta_1.1_spec-1.1.1.jar         hive-exec.jar                             htrace-core.jar                          maven-scm-api-1.4.jar
commons-cli-1.2.jar                   groovy-all-2.4.4.jar                    hive-hbase-handler-1.1.0-cdh5.6.0.jar     httpclient-4.2.5.jar                     maven-scm-provider-svn-commons-1.4.jar
commons-codec-1.4.jar                 gson-2.2.4.jar                          hive-hbase-handler.jar                    httpcore-4.2.5.jar                       maven-scm-provider-svnexe-1.4.jar
commons-collections-3.2.2.jar         guava-14.0.1.jar                        hive-hwi-1.1.0-cdh5.6.0.jar               jackson-annotations-2.2.2.jar            metrics-core-3.0.2.jar
commons-compiler-2.7.6.jar            hamcrest-core-1.1.jar                   hive-hwi.jar                              jackson-core-2.2.2.jar                   metrics-json-3.0.2.jar
[email protected]:/opt/cloudera/parcels/CDH-5.6.0-1.cdh5.6.0.p0.45/lib/hive/lib$ cp /usr/share/java/mysql-connector-java-5.1.28.jar .
cp: cannot create regular file ‘./mysql-connector-java-5.1.28.jar’: Permission denied
[email protected]:/opt/cloudera/parcels/CDH-5.6.0-1.cdh5.6.0.p0.45/lib/hive/lib$ sudo cp /usr/share/java/mysql-connector-java-5.1.28.jar .
[sudo] password for bigdata: 
[email protected]:/opt/cloudera/parcels/CDH-5.6.0-1.cdh5.6.0.p0.45/lib/hive/lib$ ls
accumulo-core-1.6.0.jar               commons-compress-1.4.1.jar              hbase-client.jar                          hive-jdbc-1.1.0-cdh5.6.0.jar             jackson-databind-2.2.2.jar              metrics-jvm-3.0.2.jar
accumulo-fate-1.6.0.jar               commons-configuration-1.6.jar           hbase-common.jar                          hive-jdbc-1.1.0-cdh5.6.0-standalone.jar  jackson-jaxrs-1.9.2.jar                 mysql-connector-java-5.1.28.jar
accumulo-start-1.6.0.jar              commons-dbcp-1.4.jar                    hbase-hadoop2-compat.jar                  hive-jdbc.jar                            jackson-xc-1.9.2.jar                    opencsv-2.3.jar

 

[email protected]:~# mysql -uhive -hubuntucmbigdata1 -phive_password
ERROR 2003 (HY000): Can't connect to MySQL server on 'ubuntucmbigdata1' (111)
[email protected]:~# mysql -uhive -hlocalhost -phive_password
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 58
Server version: 5.5.55-0ubuntu0.14.04.1 (Ubuntu)

Copyright (c) 2000, 2017, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> exit;

  斷定不是授權的問題。

#bind-address           = 127.0.0.1

 

   下面這裡,大家看看就好,以後是可以更改的。

 

說白了,這裡是啟動的總介面,但是呢,我們若這裡沒啟動成功,沒關係,可以在後面,單獨來啟動!(具體如下的詳細步驟)

http://ubuntucmbigdata1:7180/cmf/clusters/2/express-add-services/index#step=commandDetailsStep

 

參考

Ubuntu Server 14.04 安裝部署 CDH5.7.2

https://www.zybuluo.com/ncepuwanghui/note/474966

歡迎大家,加入我的微信公眾號:大資料躺過的坑     免費給分享

同時,大家可以關注我的個人部落格

   http://www.cnblogs.com/zlslch/   和  http://www.cnblogs.com/lchzls/ 

  人生苦短,我願分享。本公眾號將秉持活到老學到老學習無休止的交流分享開源精神,匯聚於網際網路和個人學習工作的精華乾貨知識,一切來於網際網路,反饋回網際網路。
  目前研究領域:大資料、機器學習、深度學習、人工智慧、資料探勘、資料分析。 語言涉及:Java、Scala、Python、Shell、Linux等 。同時還涉及平常所使用的手機、電腦和網際網路上的使用技巧、問題和實用軟體。 只要你一直關注和呆在群裡,每天必須有收穫

       以及對應本平臺的QQ群:161156071(大資料躺過的坑)

 

 

相關推薦

Cloudera Manager安裝利用parcels方式安裝34節點叢集包含最新穩定版本指定版本安裝新增服務CentOS6.5

參考部落格    ClouderManager官網的安裝歷史穩定版 https://www.cloudera.com/documentation/manager/5-1-x/Cloudera-Manager-Installation-Guide/cm5ig_install_ol

Cloudera Manager安裝利用parcels方式安裝節點叢集包含最新穩定版本指定版本安裝新增服務CentOS6.5

前期部落格 說在前面的話(看清楚就好!!!)    我這篇部落格,是兩種方式都使用過:(在/etc/yum.repos.d下的) [[email protected]clouderamanager01 yum.repos.d]$ sudo vi cl

Cloudera Manager安裝利用parcels方式線上離線安裝34節點叢集包含最新穩定版本指定版本安裝新增服務Ubuntu14.04

  前期部落格   如果大家,在啟動的時候,比如遇到如下問題,則       明明已經授權了啊,怎麼被拒絕,納尼???     解決辦法    然後,再來這樣,就可以了。    注意,在此之前

Eclipse/Myeclipse/Scala IDEA for Eclipse裡兩種新增外掛的方法線上離線

  不多說,直接上乾貨! 方法1:線上安裝   第一步,在eclipse選單欄下,選中help ---->Install New Software   第二步,點選圖中 add 新增軟體下載地址   第三步 ,選中需要的內容,安

win7下VS2015編譯tensorflow原始碼教程線上離線及呼叫配置

這段時間一直用python程式碼import tensorflow和keras的庫,來搭建CNN框架進行影象的訓練和預測,現在想用tensorflow的c++版來改寫實現。故想自己編譯一份tensroflow的lib和dll檔案,建立工程呼叫其來實現相同的功能。本部落格主要

Eclipse外掛安裝線上離線方式)

我們都知道Eclipse是基於外掛的,外掛為Eclipse提供了極大的擴充套件能力。我們經常會用到一些Eclipse中沒有給我提供的一些功能,比如SVN,比如Thymeleaf的編輯工具,比如ADTBundle等等,都是通過外掛來完成,那麼我們該如何安裝我們需要的外掛到Ecl

Qt實用技巧:基於tcp的C/S構架多人聊天程式線上離線離線資訊再次登入後傳送等

需求         多人聊天室程式,基於TCP和C/S構架,需要離線後可對離線者傳送資訊,待離線者上線後可收到上次傳送的離線資訊 技術點     1.TCP連線伺服器     2.伺服器得儲存所有客戶端列表,包括線上的不線上的     3.伺服器得通知每個客戶端當前線上

更多免費初級中級高階大資料java視訊教程下載 加(微***信((號keepper,請備註java掃下面2二34碼尚矽谷Java開發利器:IntelliJ IDEA的安裝、配置與使用

更多免費初級中級高階大資料java視訊教程下載 加(微***信((號keepper,請備註java或掃下面2二3維4碼尚矽谷Java開發利器:IntelliJ IDEA的安裝、配置與使用java視訊教程1-課件java視訊教程1-課件java視訊教程~$谷_宋紅康_IntelliJIDEA的安裝、配置與使用.

Linux 下Redis叢集安裝部署及使用詳解(線上離線兩種安裝+相關錯誤解決方案)

一、應用場景介紹   本文主要是介紹Redis叢集在Linux環境下的安裝講解,其中主要包括在聯網的Linux環境和離線的Linux環境下是如何安裝的。因為大多數時候,公司的生產環境是在內網環境下,無外網,伺服器處於離線狀態(最近公司要上線專案,就是無外網環境的Linux,被離線安裝坑慘了,走了很多彎路,說多

一、centos6.6安裝Docker 1.7.1 / linux核心2.6升級到3.11.4

Docker官網上針對Centos的的安裝需求如下: Docker requires a 64-bit installation regardless of your CentOS version. Also, your kernel must be 3.10 at min

Ubuntu14.04下Ambari安裝搭建部署大資料叢集圖文分大步詳解博主強烈推薦

     不多說,直接上乾貨! 寫在前面的話   (1) 最近一段時間,因擔任我團隊實驗室的大資料環境叢集真實物理機器工作,至此,本人秉持負責、認真和細心的態度,先分別在虛擬機器上模擬搭建ambari(基於CentOS6.5版本)和cloudermanager(基於CentOS6.5或Ub

手動安裝cloudera manager 5.xtar包方式詳解

text res 三種 href none bin -i min devel 官方共給出了3中安裝方式:第一種方法必須要求所有機器都能連網,由於最近各種國外的網站被墻的厲害,我嘗試了幾次各種超時錯誤,巨耽誤時間不說,一旦失敗,重裝非常痛苦。第二種方法下載很多包。第三種方法對

AIX下RAC搭建 Oracle10G安裝oracle、建立監聽

soft lsnrctl term 例如 strong href lan cor pad AIX下RAC搭建系列 AIX下RAC搭建 Oracle10G(五)安裝oracle、建立監聽 環境 節點 節點1 節點2 小機型號

ubuntu14.04 64位安裝WPS成功解決沒有ia32-libs的問題

col lun 又一 target rest .com update sudo lan 前幾天,就把自己的系統換成了ubuntu14.04 64位的。然後就是安裝WPS了(戳這裏進入官網下載)。因為官網提供的WPS是32位的操作系統,所以64位的操作系統不

Ubuntu14.04安裝 ffmpeg-2.4.13處理視頻用,將視頻保存為圖片序列

ibm blog 提取 ext aac sta video images bmp 首先在 http://www.ffmpeg.org/olddownload.html 下載 ffmpeg-2.4.13.tar.bz2 ; 然後安裝 yasm 和 libx264: apt

Ubuntu14.04安裝 boost boost_1.54 最簡單的方法

urn 分享 ubun 命令 寫入 return test 簡單的 logs 直接執行命令: sudo apt-get install libboost-dev 測試: 創建一個 boost_test.cpp 文件,寫入 #include <boost/lexi

【轉】JMeter學習二十HTTP屬性管理器HTTP Cookie Manager、HTTP Request Defaults

agen 讀取 expired fault 範圍 運行時 ear 定制 只有一個 Test Plan的配置元件中有一些和HTTP屬性相關的元件:HTTP Cache Manager、HTTP Authorization Manager、HTTP Cookie Manager

ESP32搭建3.ubuntu14.04下搭建esp32開發環境 最新版

終端 pat 權限 技術 實例 為我 tro component 直接 硬件為樂鑫出品的ESP32一款集成了wifi和藍牙的集成模塊。 1.首先ctrl+alt+t打開終端,sudo -s選擇用root權限登陸 。 2. 輸入指令:sudo apt-get install

kubernetes 1.8 高可用安裝

k8s 1.8 calico 網絡5安裝網絡組件calico安裝前需要確認kubelet配置是否已經增加--network-plugin=cni如果沒有配置就加到kubelet配置文件裏Environment="KUBELET_NETWORK_ARGS=--network-plugin=cni --cni-

docker 學習 virtualBox虛擬機安裝docker

問題 spring servers rtu info fig 很多 配置 doc 這裏計劃用virtualBox虛擬機安裝兩個ubuntu servers, 然後用docker把spring boot項目部署上去,模擬一下分布式的微服務情況。 1:安裝virtualbox,