1. 程式人生 > >虛擬機器\物理機上5臺伺服器cloudrea manager5.12大資料平臺搭建(持續更新)

虛擬機器\物理機上5臺伺服器cloudrea manager5.12大資料平臺搭建(持續更新)

前言

全文共1.4w字(僅安裝整個大資料平臺,關於cdh manager管理,會單獨記錄)。相比有的地方几十頁的文件已經少了不少,但是還真的比較多。強烈建議多看官方文件,寫得特別詳細,是的,確實有些多。一定要耐心,一定要仔細仔細再仔細。相信我,至少,這比你手動搭建一個完整的大資料叢集平臺要來得快(前提是你要靜下心看大量的官網文件)。

安裝吧,是的,鬼知道我經歷了些什麼。鬼知道你會經歷什麼。。。有什麼問題歡迎留言交流。

物理機的搭建,沒有重新記錄搭建過程,在搭建物理機環境時,有更新此文。
所以,物理機上搭建環境的朋友,也可以當作個參考。

  1. 第一次搭建完全分散式大資料元件是初學大資料時,手動搭建各個生態元件的,破機器上3虛擬機器折騰了一週。
  2. 之後用了半年的HDP,ambari搭建的大資料平臺,現在有個專案,需要在十臺真實機器上搭建平臺。考慮之後,決定使用CDH,cloudera manager搭建。
  3. 因為這兩天會在10臺左右的真實機器上搭建大資料平臺,為了在那時做出更少的錯誤決策,決定先用6臺虛擬機器模擬一下。(最後成功時只有三臺虛擬機器了。6次的填坑失敗,後來4次填坑也失敗。建議先用3臺練手,熟悉了,沒問題了,再用更多的虛擬機器)
  4. 建議每臺虛擬機器給30G,我的6臺虛擬機器版本就是隻給了8G,後悔死了。擴容也失敗,刪除又搭了一次4虛擬機器版本(雖然最後也掛了)。

操作步驟

注:以下內容已經第二次安裝實踐修改(第一次的因為種種問題,刪除了)

VirtualBox5.2.8

安裝,略

CentOS6.9

建議統統不要用中文

Desktop:基本的桌面系統,包括常用的桌面軟體,如文件檢視工具
Minimal Desktop:基本的桌面系統,包含的軟體更少
Minimal:基本的系統,不包含任何可選的軟體包
Basic Server:安裝的基本系統的平臺支援,不包含桌面
Database Server:基本系統平臺,加上MySQL和PostgreSQL資料庫的客戶端,無桌面
Web Server:基本系統平臺,加上PHP,Web server,還有MySQL和PostgreSQL資料庫的客戶端,無桌面
Virtual Host:基本系統加虛擬化平臺
Software Development Workstation:包含的軟泥吉安包較多,基本系統,虛擬化平臺桌面環境,開發工具

【可參考:http://www.runoob.com/linux/linux-install.html
建議為每臺虛擬機器複製一個映象。
簡述:
5臺CentOS6.9,~除namenode2.5G記憶體,其他每臺1.5G;~
2018/4/8建議
除namenode4.5G記憶體,其他每臺2.5G
硬碟VDI,每臺20G【我就是隻給了8G,後悔死了】,固定,自定義路徑。
網絡卡全為橋接。
選擇下載的minimal映象考慮到後來下載依賴包時的網路問題,用DVD映象把;Install or upgrade an existing system 安裝或升級現有的系統;Skip
語言選英文;us鍵盤;basic;忽略所有資料;然後進行網路設定(很重要)。
選擇時區(之後要保證每臺機器時間相同);
修改分割槽(新增home);格式化;修改寫入磁碟;host5為Minimal Desktop(其他三臺Basic Server),重啟
這裡寫圖片描述

節點網路配置

強烈安利一款炸裂的工具軟體:MobaXterm。我用過SecureCRT、XShell,這兩款工具相比MobaXterm,真的差距太大。不多說,不知道的朋友去感受下。
注意,對所有機器都執行以下步驟

  • vi /etc/sysconfig/network 修改hostname(如果建立每一個虛擬機器時都指定了名稱,可略過);新增與宿主機同樣的閘道器GATEWAY
  • 配置ip地址:
    vi /etc/sysconfig/network-scripts/ifcfg-eth0【修1加3】

    BOOTPROTO=static #static,靜態ip,而不是dhcp,自動獲取ip地址。
    IPADDR=**********  #設定我想用的靜態ip地址,要和物理主機在同一網段,但又不能相同。
    NETMASK=********** #子網掩碼,和物理主機一樣就可以了。
    GETWAY=********** #和本機一樣
  • 配置DNS
    vi /etc/resolv.conf
    nameserver=********
    nameserver=********
  • 修改hosts檔案
  • service network restart

ssh配置

A若想無密碼訪問B,就需要把公鑰傳送給B(需要輸入B的密碼),B把A發來的公鑰新增到自己的授權檔案裡。

在Hadoop啟動以後,namenode是通過SSH(Secure Shell)來啟動和停止各個節點上的各種守護程序的,這就需要在節點之間執行指令的時候是不需要輸入密碼的方式,故我們需要配置SSH使用無密碼公鑰認證的方式。

如果cloudera server與namenode不是同一臺機器,其也需要對所有客戶端免密登入
1. vi /etc/ssh/sshd_config
  找到以下內容,並去掉註釋符”#“
  RSAAuthentication yes # 啟用 RSA 認證
  PubkeyAuthentication yes # 啟用公鑰私鑰配對認證方式
  AuthorizedKeysFile .ssh/authorized_keys # 公鑰檔案路徑
2. service sshd restart
3. ssh-keygen -t rsa (生成其無密碼金鑰對)
4. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys (把id_rsa.pub追加到授權的key裡面去)
5. chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys(修改檔案”authorized_keys”許可權,這步驟很重要,很多莫名其妙的錯誤有可能就是許可權的問題)

我感覺1、2步驟是非必須的。

下面是把公鑰複製到所有的slave節點上去
最簡單的方法:
ssh-copy-id -i ~/.ssh/id_rsa.pub 你準備免密登入的機器的IP
子節點建立.ssh資料夾
vi /etc/ssh/sshd_config(修改ssh配置檔案,和上面master節點配置方式一樣)
scp ~/.ssh/id_rsa.pub [email protected]:/tmp/
cat /tmp/id_rsa.pub >> ~/.ssh/authorized_keys【注意是傳送maser的公鑰給子節點,如果沒有.ssh檔案則手動建立】
chmod 600 ~/.ssh/authorized_keys

cloudera以及JDK以及Mysql版本選擇【必讀】

  1. 必須考慮不同版本的Cloudera Manager和CDH之間的相容性,特別是在執行安裝/升級過程時。
  2. 叢集中的所有節點都必須執行相同的主JDK版本。Cloudera僅支援Oracle提供的JDK
  3. Cloudera Manager次要版本必須始終等於或大於CDH次要版本。較早版本的Cloudera Manager可能不支援較新版本的CDH中的功能。
  4. RHEL / CentOS / OL 6.9在5.8和更高版本中受支援
  5. 執行Cloudera Manager代理的SLES主機必須使用SLES S一DK 11 SP1。
  6. 5.10.X之前不支援MySQL5.7
  7. 任何Cloudera Manager或CDH版本均不支援Oracle JDK 9
  8. Cloudera Manager 5和CDH 5均支援 Oracle JDK 7. Oracle JDK 8
  9. 包含在CDH 5.13中的Kafka 3.0需要JDK 8. Kafka 3.0和更高版本不支援JDK 7。
  10. Cloudera Manager倉包含Oracle JDK 1.7.0_67,並且可以在全新安裝或升級期間自動安裝。【不知道離線安裝會不會也安裝1.7.0_67,但是我認為這不會影響本地的JDK1.8】
  11. 支援的JDK8的版本(高於JDK-8u144的暫時不支援)
    這裡寫圖片描述

其他注意事項

  1. 用於訪問Cloudera manager的7180埠必須開啟
  2. cloudera manager 的資料庫要定期備份(You must schedule and maintain regular backups of the Cloudera Manager database to recover the cluster in the event of the loss of this database.)

JDK安裝

解除安裝自帶的JDK,安裝下載的JDK-8u131
【可用工具的多終端共用命令的功能】
1. rpm -qa|grep jdk(由於虛擬機器minimal安裝,無自帶jdk)【有則解除安裝:使用rpm -e –nodeps 包名解除安裝之。】
2. rpm -ivh 包名及版本安裝
3. vi /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_131
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

4.source /etc/profile

mysql5.7安裝

建議命令手敲,複製下來的空格或者- -會有問題

先得檢視是否有舊的mysql或者mariadb
rpm -qa | grep -i mysql

yum -y remove mysql-libs-5.1.73-1.el6.x86_64

這裡提示下:

EL6軟體包用於在RedHat6.x,CentOS6.x
EL7軟體包用於在RedHat7.x,CentOS7.x
注:rpm-bundle.tar包安裝過程中需要安裝依賴,yum install 依賴一直報錯,但是我是能ping同外網的,最後去下載的少是glibc.tar版本的

tar 解壓(tar -xvf mysql-5.7.17-linux-glibc2.5-x86_64.tar.gz)
mv mysql-5.7.17-linux-glibc2.5-x86_64 /usr/local/mysql
groupadd mysql
useradd -r -g mysql mysql
mv /etc/my.cnf /etc/my.cnf.bak
cp ./mysql/support-files/my-default.cnf /etc/my.cnf
以下是我的配置:【注意生產環境的機器更好,可以酌情加大一些buffer的值】
>

[mysqld]
character_set_server=utf8
transaction-isolation = READ-COMMITTED
# Remove leading # and set to the amount of RAM for the most important data
# cache in MySQL. Start at 70% of total RAM for dedicated server, else 10%.
# innodb_buffer_pool_size = 128M

key_buffer_size = 32M
max_allowed_packet = 32M
thread_stack = 256K
thread_cache_size = 64
query_cache_limit = 8M
query_cache_size = 64M
query_cache_type = 1

max_connections = 550
#expire_logs_days = 10
#max_binlog_size = 100M

# Remove leading # to turn on a very important data integrity option: logging
# changes to the binary log between backups.
#log_bin should be on a disk with enough free space. Replace '/var/lib/mysql/mysql_binary_log' with an appropriate path for your system
#and chown the specified folder to the mysql user.
log_bin=/usr/local/mysql/data/mysql_binary_log

# These are commonly set, remove the # and set as required.
basedir = /usr/local/mysql
datadir = /usr/local/mysql/data
port = 3306
server_id = 1
# socket = .....

# Remove leading # to set options mainly useful for reporting servers.
# The server defaults are faster for transactions and fast SELECTs.
# Adjust sizes as needed, experiment to find the optimal values.
join_buffer_size = 8M
read_buffer_size = 2M
sort_buffer_size = 16M
read_rnd_buffer_size = 16M

# InnoDB settings
innodb_file_per_table = 1
innodb_flush_log_at_trx_commit  = 2
innodb_log_buffer_size = 64M
innodb_buffer_pool_size = 4G
innodb_thread_concurrency = 8
innodb_flush_method = O_DIRECT
innodb_log_file_size = 512M

[mysqld_safe]
log-error=/usr/local/mysql/data/mysqld.log
pid-file=/usr/local/mysql/data/mysqld.pid

sql_mode=STRICT_ALL_TABLES 
  • 賦許可權:

    chown -R mysql:mysql mysql/

  • 安裝mysql,命令如下:(記錄隨機密碼)

    ./bin/mysqld –user=mysql –basedir=/usr/local/mysql –datadir=/usr/local/mysql/data –initialize

  • 開啟mysql服務,命令如下:

./support-files/mysql.server start

  • 將mysql程序放入系統程序中,命令如下:

cp support-files/mysql.server /etc/init.d/mysqld

  • 重新啟動mysql服務,命令如下:

service mysqld restart

  • 建立軟連線

    ln -s /usr/local/mysql/bin/mysql /usr/bin

  • 使用隨機密碼登入mysql資料庫,命令如下:

mysql -u root -p

  • 進入mysql操作行,為root使用者設定新密碼:

alter user ‘root’@’localhost’ identified by ‘**‘;

  • 重新整理許可權,命令如下:
  • flush privileges;

chkconfig mysqld on
驗證chkconfig –list mysqld

  • 其他

mkdir -p /usr/share/java/
cp mysql-connector-java-5.1.45-bin.jar /usr/share/java/mysql-connector-java.jar
2018/4/8增
千萬每個節點都要執行上一步操作,不要namenode

【第二次安裝,搭建了本地yum源】

全部關機,虛擬機器設定中掛載映象
umount /dev/sr1 先解除安裝
midkr /mnt/cdrom //建立cdrom掛載點
mount /dev/sr1 /mnt/cdrom 將光碟掛載到剛才建立的cdrom
df-h 檢視當前掛載
重新命名Base.repo(mv CentOS-Base.repo CentOS-Base.repo.bak)
新增自己的repo檔案並設定(vi /etc/yum.repos.d/CentOS-Local.repo)
(可以不用設定開機自動掛載了)
yum clean all,yum makecache
yum -y install安裝所有依賴(-y引數不進行詢問)

防火牆

臨時關閉防火牆是為了安裝起來更方便,安裝完畢後可以根據需要設定防火牆策略,保證叢集安全。

  • 每臺機器的防火牆都臨時關閉service iptables stop
  • ntp配置機器時間同步

參考[4/5]

  • 官網說No blocking is done by SELinux(所以我先不關閉SELinux了)

正題

  1. 所有機器安裝依賴包(網不好的使用本地yum源,參考https://jingyan.baidu.com/article/f3e34a12a4abd6f5eb65353a.html)【全部關機,虛擬機器設定中掛載映象,重新命名/etc/yum.repos.d/下的base.repo【mv CentOS-Base.repo CentOS-Base.repo.bak】,
    新增自己的repo檔案並設定,vi /etc/yum.repos.d/CentOS-Local.repo
[base]
name=Lacal Yum

#mirrorlist=http://mirrorlist.centos.org/?release=$releasever&arch=$basearch&repo=extras&infra=$infra

baseurl=file:///mnt/cdrom
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6

gpgcheck=1

enable=1

vi /etc/fstab , 在最下面來加上這樣一句:
/dev/sr1 /mnt/cdrom iso9660 default 0 2【開機自動掛載】
umount /dev/sr1 先解除安裝
mkdir /mnt/cdrom //建立cdrom掛載點
mount /dev/sr1 /mnt/cdrom 將光碟掛載到剛才建立的cdrom
df-h 檢視當前掛載
yum clean all,yum makecache,yum -y install安裝所有依賴(-y引數不進行詢問)】、
這裡寫圖片描述

依賴列表

yum -y install bind-utils chkconfig cyrus-sasl-gssapi cyrus-sasl-plain fuse fuse-libs gcc httpd init-functions libxslt mod_ssl MySQL-python openssl openssl-devel openssl-devel perl portmap postgresql-server psmisc python python-devel python-psycopg2 python-setuptools sed service sqlite swig useradd zlib

  1. 下載Cloudera Manager的安裝包【trusty、Xenial是Ubuntu的;Jessie是Debian的】
    這裡我下載的是cloudera-manager-el6-cm5.13.2_x86_64.tar.gz
    拷貝到所有機器的/usr目錄下

  2. 執行以下代命令:
    mkdir /opt/cloudera-manager
    tar -xvf /usr/cloudera-manager-el6-cm5.13.2_x86_64.tar.gz -C /opt/cloudera-manager

  3. To create user cloudera-scm, use a command such as the following:
    useradd –system –home=/opt/cloudera-manager/cm-5.13.2/run/cloudera-scm-server –no-create-home –shell=/bin/false –comment “Cloudera SCM User” cloudera-scm
    注:注意home後的版本,如果新增錯誤:cat /etc/group檢視,userdel刪除

  4. 所有節點(官網並沒有說是哪些節點)
    2018/4/8新增
    mkdir /var/log/cloudera-scm-headlamp
    mkdir /var/log/cloudera-scm-firehose
    mkdir /var/log/cloudera-scm-alertpublisher
    mkdir /var/log/cloudera-scm-eventserver
    mkdir /var/lib/cloudera-scm-headlamp
    mkdir /var/lib/cloudera-scm-firehose
    mkdir /var/lib/cloudera-scm-alertpublisher
    mkdir /var/lib/cloudera-scm-eventserver
    mkdir /var/lib/cloudera-scm-server

  5. 修改剛才建立的目錄的許可權
    chown -R cloudera-scm:cloudera-scm /var/lib/cloudera-scm-server
    chown -R cloudera-scm:cloudera-scm /var/log/cloudera-scm-headlamp
    執行其他目錄的許可權更改

  6. 所有的agents的cloudera-scm-agent/config.ini檔案中(server不做客戶端就不用填注意,不要把namenode和DataNode的概念用在這,不做客戶端就真的什麼都不安裝):
    server_host和server_port(預設7182)
    pwd:/opt/cloudera-manager/cm-5.13.2/etc/cloudera-scm-agent
    2018/3/31補充
    裝mysql的機器一定要設為agent

  7. 準備mysql connector,放到/usr/shara/java目錄下(先檢視目錄是存在,不存在先建立目錄);或者放到目錄/opt/cm-5.13.1/share/cmf/lib/下。

  8. 在mysql上新建資料庫:Activity Monitor, Reports Manager, Hive Metastore Server, Hue Server, Sentry Server, Cloudera Navigator Audit Server, and Cloudera Navigator Metadata Server:
    這裡寫圖片描述
    create database amon DEFAULT CHARACTER SET utf8;
    create database rman DEFAULT CHARACTER SET utf8;
    create database metastore DEFAULT CHARACTER SET utf8;
    create database sentry DEFAULT CHARACTER SET utf8;
    create database nav DEFAULT CHARACTER SET utf8;
    create database navms DEFAULT CHARACTER SET utf8;
    然後,為上面每個資料庫配置類似的:
    grant all on amon.* TO ‘amon’@’%’ IDENTIFIED BY ‘amon’;
    grant all on rman.* TO ‘rman’@’%’ IDENTIFIED BY ‘rman’;
    grant all on metastore.* TO ‘hive’@’%’ IDENTIFIED BY ‘hive’;
    grant all on sentry.* TO ‘sentry’@’%’ IDENTIFIED BY ‘sentry’;
    grant all on nav.* TO ‘nav’@’%’ IDENTIFIED BY ‘nav’;
    grant all on navms.* TO ‘navms’@’%’ IDENTIFIED BY ‘navms’;

設定cmf連線資訊:

【請注意看下方:2018/4/8更
cd /opt/cloudera-manager/cm-5.13.2/share/cmf/schema/
./scm_prepare_database.sh 資料庫型別資料庫名 使用者 密碼
詳情–help見該指令碼的語法(資料庫提前建立)
這裡寫圖片描述

驗證/opt/cloudera-manager/cm-5.13.2/etc/cloudera-scm-server/下面的db.properties檔案看是否寫入成功

# Auto-generated by scm_prepare_database.sh on Sun Apr 8 14:44:19 CST 2018
#
# For information describing how to configure the Cloudera Manager Server
# to connect to databases, see the “Cloudera Manager Installation Guide.”
#
com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=host0
com.cloudera.cmf.db.name=cmf
com.cloudera.cmf.db.user=cmf
com.cloudera.cmf.db.setupType=EXTERNAL
com.cloudera.cmf.db.password=cmf

2018/4/8更
scm_prepare_database.sh的使用要注意,我估計下方多次安裝不成功是這裡出的問題(之前我建立的資料庫不是cmf)
示例:

grant all privileges on . TO ‘temp’@’%’ IDENTIFIED BY ‘temp’ with grant option;
flush privileges;
./scm_prepare_database.sh mysql –host host0 -utemp -ptemp –scm-host host0 cmf cmf cmf
drop user ‘temp’@’%’;
雖然成功,但是我這有log4j的報錯:log4j:ERROR Could not find value for key log4j.appender.A

9.server上Create Parcel Directories:
mkdir -p /opt/cloudera/parcel-repo【離線本地yum源】
chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

10.所有節點:
mkdir -p /opt/cloudera/parcels【分發軟體用】
chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcels
11.下載圖示三個檔案,並拷貝到上面新建的/opt/cloudera/parcel-repo資料夾中:http://archive.cloudera.com/cdh5/parcels/
這裡寫圖片描述
注意:有網友說將sha1字尾改為sha【cdh對應版本的hash值】,我照做了,沒報錯

12.Start the Cloudera Manager Server

13.root使用者:/opt/cloudera-manager/cm-5.13.2/etc/init.d/cloudera-scm-server start

14.開機自啟——如果是centos:cp /opt/cloudera-manager/cm-5.13.2/etc/init.d/cloudera-scm-server /etc/init.d/cloudera-scm-server
chkconfig cloudera-scm-server on

15.修改一行

On the Cloudera Manager Server host, open the /etc/init.d/cloudera-scm-server file and change the value of CMF_DEFAULTS from ${CMF_DEFAULTS:-/etc/default} to $CMF_DEFAULTS/etc/default.
去掉圖中的“:-{}”,注意是4個符號,圖上沒圈完整
這裡寫圖片描述

2018/5/10改
應該這樣改:
CMF_DEFAULTS=/opt/cloudera-manager/cm-5.13.2/etc/default

16.啟動客戶端
在每個客戶端執行:(啟動後就會與server產生聯絡)
/opt/cloudera-manager/cm-5.13.2/etc/init.d/cloudera-scm-agent start
cp /opt/cloudera-manager/cm-5.13.2/etc/init.d/cloudera-scm-agent /etc/init.d/cloudera-scm-agent
chkconfig cloudera-scm-agent on

17.

On each Agent, open the $CMF_DEFAULTS/etc/init.d/cloudera-scm-agent file and change the value of CMF_DEFAULTS from ${CMF_DEFAULTS:-/etc/default} to $CMF_DEFAULTS/etc/default.

vi /opt/cloudera-manager/cm-5.13.2/etc/init.d/cloudera-scm-agent
CMF_DEFAULTS=/opt/cloudera-manager/cm-5.13.2/etc/default

18.訪問7180埠:【長舒一口氣。。。】

這裡寫圖片描述

注意:初始賬戶以及密碼都為admin,賬戶名不允許修改,密碼可以改。

虛擬機器儲存快照,必須的

CDH叢集安裝

  1. 自動顯示之前設定的agent(我這裡server沒有設為agent,不知道會不會不讓在server上安裝節點?是的,不會。後來我關閉安裝,回去加上了agent)
    是的,剛備份完,作用就凸顯了,哈哈。

尷尬,server機器加了agent,還是三臺。。。暫時就這樣吧,再折騰就沒意思了

不行,後面要使用資料庫,資料庫再server上,發覺我沒啟動server上的客戶端。啟動後就ok了。

這裡寫圖片描述
這裡寫圖片描述

  1. 之後我可能會嘗試擴充套件節點

  2. 總的步驟

  3. 全部勾選後繼續,點選紅框確定查詢Parcel路徑是否符合你的路徑
    這裡寫圖片描述
    可以看到已經在安裝軟體包了,server會分發軟體安裝到/opt/cloudera.parcel-repo目錄下
    這裡寫圖片描述

  4. 2個警告:
    這裡寫圖片描述
    解決辦法,針對所有機器執行:
    echo 10 > /proc/sys/vm/swappiness
    echo never > /sys/kernel/mm/transparent_hugepage/defrag
    echo never > /sys/kernel/mm/transparent_hugepage/enabled
    這裡寫圖片描述
    這裡寫圖片描述

  5. 預設spark版本為1.6【改天記錄下升級2.1
    這裡寫圖片描述

  6. 我這裡的分配是:
    zookeeper全裝;
    namenode在server也就是host5上,不裝datanode,host5效能最優;cloudera manager相關的服務全放server上;
    HBASE相關的也沒有放在namenode上,都放在了host6;
    Activity Monitor要選擇裝資料庫的機器,我這裡是host5;
    spark相關放在host7
    yarn相關放在host8
    這裡寫圖片描述
    這裡寫圖片描述

  7. 之前說的資料庫測試
    這裡寫圖片描述

  8. namenode格式化失敗
    ~可是我機器明明都是重灌的啊
    試了4次,都是這樣。。。
    有人說記憶體不足,好吧,第五次我就只裝hdfs和spark
    還是這樣。
    就這樣暫時結束吧。。。
    ~
    這裡寫圖片描述

終於在2018/4/8安裝完成(心痛自己一分鐘-**-)
這裡寫圖片描述
這裡寫圖片描述
這裡寫圖片描述
(虛擬機器是重搭的,之前的5/6/7/8沒用了)總結一下以前的問題:
全是資料庫的問題:
- cmf建立問題
- mysql-connector問題

其他

又重啟虛擬機器:VBOX_E_FILE_ERROR (0x80BB0004
這裡寫圖片描述
原來備份是要儲存的,我以為只是記錄一些關鍵資訊。。。
手動修改時間:
date -s ‘2018-03-31 16:45:34’

虛擬機器擴容

virtualBox
【提示:最終未成功】

  1. 檢視需要擴容的UUID:
    VBoxManage list hdds
  2. 建立一個空的vdi虛擬機器介質:
    VBoxManage.exe createhd -filename “C:\Users\Administrator\VirtualBox VMs\host0\host0_1” -size 11920 -format VDI -variant Standard
  3. 合併(克隆命令):
    VBoxManage.exe clonehd be0b6dd7-c118-4715-be45-23e7ece0b946 7cf52f66-ea8d-4741-941f-876360fcfdab –existing
  4. 檢視:
    這裡寫圖片描述
  5. 新增硬碟硬碟(點選紅框,選擇彈出的“選擇一個虛擬硬碟”)
  6. 沒成功。。。

TODO

叢集擴充套件

參考

小生目前山西大學大三學生,最近計劃實習,主要學習大資料,J2EE,機器學習。

同道的前輩,師兄弟姐妹們,歡迎掃碼加微(/抱拳\)。或指點一二,或共同探討學習!

文章的不妥之處,歡迎各位前輩斧正!

這裡寫圖片描述

2018/5/10增
[4]ntp
[5]ntp

相關推薦

虛擬機器\物機上5伺服器cloudrea manager5.12資料平臺搭建持續更新

前言 全文共1.4w字(僅安裝整個大資料平臺,關於cdh manager管理,會單獨記錄)。相比有的地方几十頁的文件已經少了不少,但是還真的比較多。強烈建議多看官方文件,寫得特別詳細,是的,確實有些多。一定要耐心,一定要仔細仔細再仔細。相信我,

redis cluster 一個問題:雙master不能在一個虛擬機器/物理機上

標題說的有點不夠明確 :雙master不能在一個虛擬機器/( 或物理機)上,指的是三主三從結構,並且一個虛機部署一個master 和一個slave 問題如下 :6臺虛機(每臺3g記憶體),做三主三從結構   原因如下:   因為redis cluster 官方的偵聽節點fai

使用KVM虛擬機器遇到的問題持續更新

1.qemu-kvm、kvm、qemu 和 qemu-system-x86_64四種命令的區別 qemu 和 qemu-system-x86_64:啟動qemu虛擬機器的命令,x86_64為64位系統時使用的命令 qemu-x86_64  僅僅模擬CPU qemu-syst

Java虛擬機器詳解------JVM引數持續更新

  JVM引數有很多,其實我們直接使用預設的JVM引數,不去修改都可以滿足大多數情況。但是如果你想在有限的硬體資源下,部署的系統達到最大的執行效率,那麼進行相關的JVM引數設定是必不可少的。下面我們就來對這些JVM引數進行詳細的介紹。   JVM引數主要分為以下三種(可以根據書寫形式來區分): 1、標準引

深入理解Java虛擬機器--個人總結持續更新

# 深入理解Java虛擬機器--個人總結(持續更新) **每天按照書本學一點,會把自己的總結思考寫下來,形成輸出,持續更新,立帖為證** ```java -- 2020年7月7日 開始第一次學習 -- 2020年7月8日 今天在百忙Rush B中抽出時間,學了點習,計劃明天把本地方法棧和Java堆看完總結

機器學習課程不完全收錄持續更新

google 趨勢 con ash color mooc tar 業界 積極 機器學習已經火遍全球了,目前幾乎所有科技公司都或多或少都在積極地響應AI的趨勢,但是此時需要培養更多的人工智能和機器學習專家,然而優質的學習資源卻相當匱乏。幾大科技巨頭和業界領軍大神也相應提供了各

github上值得關注的機器學習深度學習持續更新

前言: 因為想搜相關內容發現搜到的基本上都是前端大牛(這可能是由於js是github上最受歡迎的語言),所以打算自己mark一下同時方便他人,於是寫下這篇博文,本文持續更新,如果有童鞋覺得有不錯的賬號也可以評論推薦給我~我也會更新上去~ 大牛:(排名不分先後) 一: Wes McKinn

機器學習專項練習筆記持續更新

##1.卷積神經網路計算尺寸 輸出尺寸=(輸入尺寸-filter尺寸+2*padding)/stride+1 卷積向下取整,池化向上取整 stride=1時,當kernel=3,padding=1或kernel=5,padding=2 卷積前後尺寸不變。 ##2.序列模式挖掘

機器學習/深度學習資源下載合集持續更新...

這篇文章轉載自「譯智社」的成員 —— 林夕的文章機器學習/深度學習資源下載集合(持續更新…)。如果你對人工智慧感興趣,歡迎關注公眾號 —— 譯智社。 從入門到進階,所用到機器學習資料,包括書、視訊、原始碼。文章首發於 Github,若下載資源請跳轉 Github. 文

D001.5 Docker搭建資料叢集環境基礎篇

0x00 教程內容 0x01 Docker的安裝 1. 2. 3. 0x02 Docker的簡單操作 1. 2. 3. 0x03 Docker資料卷 Docker的資料卷與Centos的

機器學習面試常見題總結持續更新

1、邏輯迴歸(LR)損失函式為什麼使用最大似然估計而不用最小二乘法?連結:https://www.zhihu.com/question/65350200/answer/266277291首先,機器學習的損失函式是人為設計的,用於評判模型好壞(對未知的預測能力)的一個標準、尺子

2016年計算機視覺&機器學習領域國內重要會議 彙總 持續更新

前言 國內每年都會舉辦很多計算機視覺(Computer Vision,CV)、 機器學習(Machine Learning,ML)領域相關的很多學術會議和研討會等。有一些是收費徵稿的學術會議,有一些是免費不徵稿的研討會;有一些偏重學術研究,有一些偏重應用落地;

機器學習】【深度學習】【人工智慧】【演算法工程師】面試問題彙總持續更新

1. 演算法 【1】動態規劃經典題目總結 2. 資料結構 2.1 陣列和字串 【1】【演算法】刪除一個數組中為0的元素 【2】牛客網線上程式設計專題《劍指offer-面試題34》醜數 【3】牛客網線上程式設計專題《劍指offer-面試題4》替換空格 【4】牛客網線上程

機器學習、深度學習、計算機視覺、自然語言處理及應用案例——乾貨分享持續更新......

機器學習、深度學習、計算機視覺、自然語言處理及應用案例——乾貨分享(持續更新……) GitChat提問碼: 1、機器學習/深度學習 1.1 對抗生成網路GAN 【2017.04.21】 對抗生成網路GAN變種大集合

機器學習、深度學習、計算機視覺、自然語言處理及應用案例——乾貨分享持續更新……

人臉檢測與識別的趨勢和分析  【paper】【GitHub】【全域性/區域性一致影象補全】《Globally and Locally Consistent Image Completion》S Iizuka, E Simo-Serra, H Ishikawa (2017)  【paper】【GitHub】【基

如何將一塊物理網絡卡分配給一VMWare虛擬機器(VMWare ESXi 5.0)

首先用 VMware vSphere Client 登入 ESXi 伺服器,進入伺服器的“配置”頁,然後進入“網路”選項:   可以看到當前用了一塊物理網絡卡,連線了一個虛擬交換機vSwitch0,虛擬交換機裡面,接了4臺虛擬機器。 現在需要做的,就是再用另外一塊物

修改Vmware Workstation虛擬機器物理硬碟序列號ID

有些軟體的註冊機制是根據物理硬碟序列號來作為唯一的識別符號。此序列號寫在硬碟的韌體裡面。一般的方法是無法修改此序列號的。 如果需要無限試用軟體可以讓軟體在虛擬機器內執行。試用期到了之後修改硬碟物理序列號好可以繼續試用。 修改方法: 用winhex開啟vmware-vmx.exe,如果是3

讀書筆記 ---- 《深入理解Java虛擬機器》---- 第5篇:類檔案結構

上一篇:虛擬機器效能監控與故障處理工具:https://blog.csdn.net/pcwl1206/article/details/84197113 第5篇:類檔案結構 開篇說明:本文的重點就是類檔案結構,只需要清楚Class檔案格式中的各名稱的實際意義就行,不用對具體名稱下的細節進行深究

虛擬機器搞定負載均衡lvs-NAT模式和lvs-DR模式搭建

首先來說一下負載均衡,為了解決一個伺服器不能支撐大併發量使用者的訪問,所以通過負載均衡的方法來解決這個問題,負載均衡有兩種實現方案,一種是通過硬體來實現可以購買 f5裝置,一種是通過軟體來實現如lvs、nginx等,由於lvs直接是linux系統核心級別的,實現起來方便所以仙子主要講解lvs實現

Linux學習_003_虛擬機器CentOS 7.5 如何固定IP地址

  我們在使用虛擬機器的時候,虛擬機器的IP往往會變化,前期配置的SecureCRT連線、FTP連線需要重新修改,給我們的使用造成很大的不便。本文介紹瞭如何固定虛擬機器CentOS 7.5的IP的方法。 環境:  本地主機:win10  虛擬機器軟體:Vmware 14 PRO  虛擬機器:Cent