虛擬機器\物理機上5臺伺服器cloudrea manager5.12大資料平臺搭建(持續更新)
前言
全文共1.4w字(僅安裝整個大資料平臺,關於cdh manager管理,會單獨記錄)。相比有的地方几十頁的文件已經少了不少,但是還真的比較多。強烈建議多看官方文件,寫得特別詳細,是的,確實有些多。一定要耐心,一定要仔細仔細再仔細。相信我,至少,這比你手動搭建一個完整的大資料叢集平臺要來得快(前提是你要靜下心看大量的官網文件)。
安裝吧,是的,鬼知道我經歷了些什麼。鬼知道你會經歷什麼。。。有什麼問題歡迎留言交流。
物理機的搭建,沒有重新記錄搭建過程,在搭建物理機環境時,有更新此文。
所以,物理機上搭建環境的朋友,也可以當作個參考。
- 第一次搭建完全分散式大資料元件是初學大資料時,手動搭建各個生態元件的,破機器上3虛擬機器折騰了一週。
- 之後用了半年的HDP,ambari搭建的大資料平臺,現在有個專案,需要在十臺真實機器上搭建平臺。考慮之後,決定使用CDH,cloudera manager搭建。
- 因為這兩天會在10臺左右的真實機器上搭建大資料平臺,為了在那時做出更少的錯誤決策,決定先用6臺虛擬機器模擬一下。(最後成功時只有三臺虛擬機器了。6次的填坑失敗,後來4次填坑也失敗。建議先用3臺練手,熟悉了,沒問題了,再用更多的虛擬機器)
- 建議每臺虛擬機器給30G,我的6臺虛擬機器版本就是隻給了8G,後悔死了。擴容也失敗,刪除又搭了一次4虛擬機器版本(雖然最後也掛了)。
操作步驟
注:以下內容已經第二次安裝實踐修改(第一次的因為種種問題,刪除了)
VirtualBox5.2.8
安裝,略
CentOS6.9
建議統統不要用中文
Desktop:基本的桌面系統,包括常用的桌面軟體,如文件檢視工具
Minimal Desktop:基本的桌面系統,包含的軟體更少
Minimal:基本的系統,不包含任何可選的軟體包
Basic Server:安裝的基本系統的平臺支援,不包含桌面
Database Server:基本系統平臺,加上MySQL和PostgreSQL資料庫的客戶端,無桌面
Web Server:基本系統平臺,加上PHP,Web server,還有MySQL和PostgreSQL資料庫的客戶端,無桌面
Virtual Host:基本系統加虛擬化平臺
Software Development Workstation:包含的軟泥吉安包較多,基本系統,虛擬化平臺桌面環境,開發工具
【可參考:http://www.runoob.com/linux/linux-install.html】
建議為每臺虛擬機器複製一個映象。
簡述:
5臺CentOS6.9,~除namenode2.5G記憶體,其他每臺1.5G;~
2018/4/8建議
除namenode4.5G記憶體,其他每臺2.5G
硬碟VDI,每臺20G【我就是隻給了8G,後悔死了】,固定,自定義路徑。
網絡卡全為橋接。
選擇下載的minimal映象考慮到後來下載依賴包時的網路問題,用DVD映象把;Install or upgrade an existing system 安裝或升級現有的系統;Skip
語言選英文;us鍵盤;basic;忽略所有資料;然後進行網路設定(很重要)。
選擇時區(之後要保證每臺機器時間相同);
修改分割槽(新增home);格式化;修改寫入磁碟;host5為Minimal Desktop(其他三臺Basic Server),重啟
節點網路配置
強烈安利一款炸裂的工具軟體:MobaXterm。我用過SecureCRT、XShell,這兩款工具相比MobaXterm,真的差距太大。不多說,不知道的朋友去感受下。
注意,對所有機器都執行以下步驟
- vi /etc/sysconfig/network 修改hostname(如果建立每一個虛擬機器時都指定了名稱,可略過);新增與宿主機同樣的閘道器GATEWAY
- 配置ip地址:
vi /etc/sysconfig/network-scripts/ifcfg-eth0【修1加3】
BOOTPROTO=static #static,靜態ip,而不是dhcp,自動獲取ip地址。
IPADDR=********** #設定我想用的靜態ip地址,要和物理主機在同一網段,但又不能相同。
NETMASK=********** #子網掩碼,和物理主機一樣就可以了。
GETWAY=********** #和本機一樣
- 配置DNS
vi /etc/resolv.conf
nameserver=********
nameserver=********
- 修改hosts檔案
- service network restart
ssh配置
A若想無密碼訪問B,就需要把公鑰傳送給B(需要輸入B的密碼),B把A發來的公鑰新增到自己的授權檔案裡。
在Hadoop啟動以後,namenode是通過SSH(Secure Shell)來啟動和停止各個節點上的各種守護程序的,這就需要在節點之間執行指令的時候是不需要輸入密碼的方式,故我們需要配置SSH使用無密碼公鑰認證的方式。
如果cloudera server與namenode不是同一臺機器,其也需要對所有客戶端免密登入
1. vi /etc/ssh/sshd_config
找到以下內容,並去掉註釋符”#“
RSAAuthentication yes # 啟用 RSA 認證
PubkeyAuthentication yes # 啟用公鑰私鑰配對認證方式
AuthorizedKeysFile .ssh/authorized_keys # 公鑰檔案路徑
2. service sshd restart
3. ssh-keygen -t rsa (生成其無密碼金鑰對)
4. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys (把id_rsa.pub追加到授權的key裡面去)
5. chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys(修改檔案”authorized_keys”許可權,這步驟很重要,很多莫名其妙的錯誤有可能就是許可權的問題)
我感覺1、2步驟是非必須的。
下面是把公鑰複製到所有的slave節點上去
最簡單的方法:
ssh-copy-id -i ~/.ssh/id_rsa.pub 你準備免密登入的機器的IP
子節點建立.ssh資料夾
vi /etc/ssh/sshd_config(修改ssh配置檔案,和上面master節點配置方式一樣)
scp ~/.ssh/id_rsa.pub [email protected]:/tmp/
cat /tmp/id_rsa.pub >> ~/.ssh/authorized_keys【注意是傳送maser的公鑰給子節點,如果沒有.ssh檔案則手動建立】
chmod 600 ~/.ssh/authorized_keys
cloudera以及JDK以及Mysql版本選擇【必讀】
- 必須考慮不同版本的Cloudera Manager和CDH之間的相容性,特別是在執行安裝/升級過程時。
- 叢集中的所有節點都必須執行相同的主JDK版本。Cloudera僅支援Oracle提供的JDK 。
- Cloudera Manager次要版本必須始終等於或大於CDH次要版本。較早版本的Cloudera Manager可能不支援較新版本的CDH中的功能。
- RHEL / CentOS / OL 6.9在5.8和更高版本中受支援
- 執行Cloudera Manager代理的SLES主機必須使用SLES S一DK 11 SP1。
- 5.10.X之前不支援MySQL5.7
- 任何Cloudera Manager或CDH版本均不支援Oracle JDK 9。
- Cloudera Manager 5和CDH 5均支援 Oracle JDK 7. Oracle JDK 8
- 包含在CDH 5.13中的Kafka 3.0需要JDK 8. Kafka 3.0和更高版本不支援JDK 7。
- Cloudera Manager倉包含Oracle JDK 1.7.0_67,並且可以在全新安裝或升級期間自動安裝。【不知道離線安裝會不會也安裝1.7.0_67,但是我認為這不會影響本地的JDK1.8】
- 支援的JDK8的版本(高於JDK-8u144的暫時不支援)
其他注意事項
- 用於訪問Cloudera manager的7180埠必須開啟
- cloudera manager 的資料庫要定期備份(You must schedule and maintain regular backups of the Cloudera Manager database to recover the cluster in the event of the loss of this database.)
JDK安裝
解除安裝自帶的JDK,安裝下載的JDK-8u131
【可用工具的多終端共用命令的功能】
1. rpm -qa|grep jdk(由於虛擬機器minimal安裝,無自帶jdk)【有則解除安裝:使用rpm -e –nodeps 包名解除安裝之。】
2. rpm -ivh 包名及版本安裝
3. vi /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_131
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
4.source /etc/profile
mysql5.7安裝
建議命令手敲,複製下來的空格或者- -會有問題
先得檢視是否有舊的mysql或者mariadb
rpm -qa | grep -i mysql
yum -y remove mysql-libs-5.1.73-1.el6.x86_64
這裡提示下:
EL6軟體包用於在RedHat6.x,CentOS6.x
EL7軟體包用於在RedHat7.x,CentOS7.x
注:rpm-bundle.tar包安裝過程中需要安裝依賴,yum install 依賴一直報錯,但是我是能ping同外網的,最後去下載的少是glibc.tar版本的
tar 解壓(tar -xvf mysql-5.7.17-linux-glibc2.5-x86_64.tar.gz)
mv mysql-5.7.17-linux-glibc2.5-x86_64 /usr/local/mysql
groupadd mysql
useradd -r -g mysql mysql
mv /etc/my.cnf /etc/my.cnf.bak
cp ./mysql/support-files/my-default.cnf /etc/my.cnf
以下是我的配置:【注意生產環境的機器更好,可以酌情加大一些buffer的值】
>
[mysqld]
character_set_server=utf8
transaction-isolation = READ-COMMITTED
# Remove leading # and set to the amount of RAM for the most important data
# cache in MySQL. Start at 70% of total RAM for dedicated server, else 10%.
# innodb_buffer_pool_size = 128M
key_buffer_size = 32M
max_allowed_packet = 32M
thread_stack = 256K
thread_cache_size = 64
query_cache_limit = 8M
query_cache_size = 64M
query_cache_type = 1
max_connections = 550
#expire_logs_days = 10
#max_binlog_size = 100M
# Remove leading # to turn on a very important data integrity option: logging
# changes to the binary log between backups.
#log_bin should be on a disk with enough free space. Replace '/var/lib/mysql/mysql_binary_log' with an appropriate path for your system
#and chown the specified folder to the mysql user.
log_bin=/usr/local/mysql/data/mysql_binary_log
# These are commonly set, remove the # and set as required.
basedir = /usr/local/mysql
datadir = /usr/local/mysql/data
port = 3306
server_id = 1
# socket = .....
# Remove leading # to set options mainly useful for reporting servers.
# The server defaults are faster for transactions and fast SELECTs.
# Adjust sizes as needed, experiment to find the optimal values.
join_buffer_size = 8M
read_buffer_size = 2M
sort_buffer_size = 16M
read_rnd_buffer_size = 16M
# InnoDB settings
innodb_file_per_table = 1
innodb_flush_log_at_trx_commit = 2
innodb_log_buffer_size = 64M
innodb_buffer_pool_size = 4G
innodb_thread_concurrency = 8
innodb_flush_method = O_DIRECT
innodb_log_file_size = 512M
[mysqld_safe]
log-error=/usr/local/mysql/data/mysqld.log
pid-file=/usr/local/mysql/data/mysqld.pid
sql_mode=STRICT_ALL_TABLES
賦許可權:
chown -R mysql:mysql mysql/
安裝mysql,命令如下:(記錄隨機密碼)
./bin/mysqld –user=mysql –basedir=/usr/local/mysql –datadir=/usr/local/mysql/data –initialize
- 開啟mysql服務,命令如下:
./support-files/mysql.server start
- 將mysql程序放入系統程序中,命令如下:
cp support-files/mysql.server /etc/init.d/mysqld
- 重新啟動mysql服務,命令如下:
service mysqld restart
建立軟連線
ln -s /usr/local/mysql/bin/mysql /usr/bin
使用隨機密碼登入mysql資料庫,命令如下:
mysql -u root -p
- 進入mysql操作行,為root使用者設定新密碼:
alter user ‘root’@’localhost’ identified by ‘**‘;
- 重新整理許可權,命令如下:
- flush privileges;
chkconfig mysqld on
驗證chkconfig –list mysqld
- 其他
mkdir -p /usr/share/java/
cp mysql-connector-java-5.1.45-bin.jar /usr/share/java/mysql-connector-java.jar
2018/4/8增
千萬每個節點都要執行上一步操作,不要namenode
【第二次安裝,搭建了本地yum源】
【
全部關機,虛擬機器設定中掛載映象
umount /dev/sr1 先解除安裝
midkr /mnt/cdrom //建立cdrom掛載點
mount /dev/sr1 /mnt/cdrom 將光碟掛載到剛才建立的cdrom
df-h 檢視當前掛載
重新命名Base.repo(mv CentOS-Base.repo CentOS-Base.repo.bak)
新增自己的repo檔案並設定(vi /etc/yum.repos.d/CentOS-Local.repo)
(可以不用設定開機自動掛載了)
yum clean all,yum makecache
yum -y install安裝所有依賴(-y引數不進行詢問)
】
防火牆
臨時關閉防火牆是為了安裝起來更方便,安裝完畢後可以根據需要設定防火牆策略,保證叢集安全。
- 每臺機器的防火牆都臨時關閉service iptables stop
- ntp配置機器時間同步
參考[4/5]
- 官網說No blocking is done by SELinux(所以我先不關閉SELinux了)
正題
- 所有機器安裝依賴包(網不好的使用本地yum源,參考https://jingyan.baidu.com/article/f3e34a12a4abd6f5eb65353a.html)【全部關機,虛擬機器設定中掛載映象,重新命名/etc/yum.repos.d/下的base.repo【mv CentOS-Base.repo CentOS-Base.repo.bak】,
新增自己的repo檔案並設定,vi /etc/yum.repos.d/CentOS-Local.repo
[base]
name=Lacal Yum
#mirrorlist=http://mirrorlist.centos.org/?release=$releasever&arch=$basearch&repo=extras&infra=$infra
baseurl=file:///mnt/cdrom
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6
gpgcheck=1
enable=1
vi /etc/fstab , 在最下面來加上這樣一句:
/dev/sr1 /mnt/cdrom iso9660 default 0 2【開機自動掛載】
umount /dev/sr1 先解除安裝
mkdir /mnt/cdrom //建立cdrom掛載點
mount /dev/sr1 /mnt/cdrom 將光碟掛載到剛才建立的cdrom
df-h 檢視當前掛載
yum clean all,yum makecache,yum -y install安裝所有依賴(-y引數不進行詢問)】、
依賴列表:
yum -y install bind-utils chkconfig cyrus-sasl-gssapi cyrus-sasl-plain fuse fuse-libs gcc httpd init-functions libxslt mod_ssl MySQL-python openssl openssl-devel openssl-devel perl portmap postgresql-server psmisc python python-devel python-psycopg2 python-setuptools sed service sqlite swig useradd zlib
下載Cloudera Manager的安裝包【trusty、Xenial是Ubuntu的;Jessie是Debian的】
這裡我下載的是cloudera-manager-el6-cm5.13.2_x86_64.tar.gz
拷貝到所有機器的/usr目錄下執行以下代命令:
mkdir /opt/cloudera-manager
tar -xvf /usr/cloudera-manager-el6-cm5.13.2_x86_64.tar.gz -C /opt/cloudera-managerTo create user cloudera-scm, use a command such as the following:
useradd –system –home=/opt/cloudera-manager/cm-5.13.2/run/cloudera-scm-server –no-create-home –shell=/bin/false –comment “Cloudera SCM User” cloudera-scm
注:注意home後的版本,如果新增錯誤:cat /etc/group檢視,userdel刪除所有節點(官網並沒有說是哪些節點)
2018/4/8新增
mkdir /var/log/cloudera-scm-headlamp
mkdir /var/log/cloudera-scm-firehose
mkdir /var/log/cloudera-scm-alertpublisher
mkdir /var/log/cloudera-scm-eventserver
mkdir /var/lib/cloudera-scm-headlamp
mkdir /var/lib/cloudera-scm-firehose
mkdir /var/lib/cloudera-scm-alertpublisher
mkdir /var/lib/cloudera-scm-eventserver
mkdir /var/lib/cloudera-scm-server修改剛才建立的目錄的許可權
chown -R cloudera-scm:cloudera-scm /var/lib/cloudera-scm-server
chown -R cloudera-scm:cloudera-scm /var/log/cloudera-scm-headlamp
執行其他目錄的許可權更改所有的agents的cloudera-scm-agent/config.ini檔案中(
server不做客戶端就不用填注意,不要把namenode和DataNode的概念用在這,不做客戶端就真的什麼都不安裝):
server_host和server_port(預設7182)
pwd:/opt/cloudera-manager/cm-5.13.2/etc/cloudera-scm-agent
2018/3/31補充
裝mysql的機器一定要設為agent準備mysql connector,放到/usr/shara/java目錄下(先檢視目錄是存在,不存在先建立目錄);或者放到目錄/opt/cm-5.13.1/share/cmf/lib/下。-
在mysql上新建資料庫:Activity Monitor, Reports Manager, Hive Metastore Server, Hue Server, Sentry Server, Cloudera Navigator Audit Server, and Cloudera Navigator Metadata Server:
create database amon DEFAULT CHARACTER SET utf8;
create database rman DEFAULT CHARACTER SET utf8;
create database metastore DEFAULT CHARACTER SET utf8;
create database sentry DEFAULT CHARACTER SET utf8;
create database nav DEFAULT CHARACTER SET utf8;
create database navms DEFAULT CHARACTER SET utf8;
然後,為上面每個資料庫配置類似的:
grant all on amon.* TO ‘amon’@’%’ IDENTIFIED BY ‘amon’;
grant all on rman.* TO ‘rman’@’%’ IDENTIFIED BY ‘rman’;
grant all on metastore.* TO ‘hive’@’%’ IDENTIFIED BY ‘hive’;
grant all on sentry.* TO ‘sentry’@’%’ IDENTIFIED BY ‘sentry’;
grant all on nav.* TO ‘nav’@’%’ IDENTIFIED BY ‘nav’;
grant all on navms.* TO ‘navms’@’%’ IDENTIFIED BY ‘navms’;
設定cmf連線資訊:
【請注意看下方:2018/4/8更】
cd /opt/cloudera-manager/cm-5.13.2/share/cmf/schema/
./scm_prepare_database.sh 資料庫型別資料庫名 使用者 密碼
詳情–help見該指令碼的語法(資料庫提前建立)
驗證/opt/cloudera-manager/cm-5.13.2/etc/cloudera-scm-server/下面的db.properties檔案看是否寫入成功
# Auto-generated by scm_prepare_database.sh on Sun Apr 8 14:44:19 CST 2018
#
# For information describing how to configure the Cloudera Manager Server
# to connect to databases, see the “Cloudera Manager Installation Guide.”
#
com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=host0
com.cloudera.cmf.db.name=cmf
com.cloudera.cmf.db.user=cmf
com.cloudera.cmf.db.setupType=EXTERNAL
com.cloudera.cmf.db.password=cmf
2018/4/8更
scm_prepare_database.sh的使用要注意,我估計下方多次安裝不成功是這裡出的問題(之前我建立的資料庫不是cmf)
示例:
grant all privileges on . TO ‘temp’@’%’ IDENTIFIED BY ‘temp’ with grant option;
flush privileges;
./scm_prepare_database.sh mysql –host host0 -utemp -ptemp –scm-host host0 cmf cmf cmf
drop user ‘temp’@’%’;
雖然成功,但是我這有log4j的報錯:log4j:ERROR Could not find value for key log4j.appender.A
9.server上Create Parcel Directories:
mkdir -p /opt/cloudera/parcel-repo【離線本地yum源】
chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
10.所有節點:
mkdir -p /opt/cloudera/parcels【分發軟體用】
chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcels
11.下載圖示三個檔案,並拷貝到上面新建的/opt/cloudera/parcel-repo資料夾中:http://archive.cloudera.com/cdh5/parcels/
注意:有網友說將sha1字尾改為sha【cdh對應版本的hash值】,我照做了,沒報錯
12.Start the Cloudera Manager Server
13.root使用者:/opt/cloudera-manager/cm-5.13.2/etc/init.d/cloudera-scm-server start
14.開機自啟——如果是centos:cp /opt/cloudera-manager/cm-5.13.2/etc/init.d/cloudera-scm-server /etc/init.d/cloudera-scm-server
chkconfig cloudera-scm-server on
15.修改一行
On the Cloudera Manager Server host, open the /etc/init.d/cloudera-scm-server file and change the value of CMF_DEFAULTS from ${CMF_DEFAULTS:-/etc/default} to $CMF_DEFAULTS/etc/default.
去掉圖中的“:-{}”,注意是4個符號,圖上沒圈完整
2018/5/10改
應該這樣改:
CMF_DEFAULTS=/opt/cloudera-manager/cm-5.13.2/etc/default
16.啟動客戶端
在每個客戶端執行:(啟動後就會與server產生聯絡)
/opt/cloudera-manager/cm-5.13.2/etc/init.d/cloudera-scm-agent start
cp /opt/cloudera-manager/cm-5.13.2/etc/init.d/cloudera-scm-agent /etc/init.d/cloudera-scm-agent
chkconfig cloudera-scm-agent on
17.
On each Agent, open the $CMF_DEFAULTS/etc/init.d/cloudera-scm-agent file and change the value of CMF_DEFAULTS from ${CMF_DEFAULTS:-/etc/default} to $CMF_DEFAULTS/etc/default.
vi /opt/cloudera-manager/cm-5.13.2/etc/init.d/cloudera-scm-agent
CMF_DEFAULTS=/opt/cloudera-manager/cm-5.13.2/etc/default
18.訪問7180埠:【長舒一口氣。。。】
注意:初始賬戶以及密碼都為admin,賬戶名不允許修改,密碼可以改。
虛擬機器儲存快照,必須的
CDH叢集安裝
- 自動顯示之前設定的agent(我這裡server沒有設為agent,不知道會不會不讓在server上安裝節點?是的,不會。後來我關閉安裝,回去加上了agent)
是的,剛備份完,作用就凸顯了,哈哈。
尷尬,server機器加了agent,還是三臺。。。暫時就這樣吧,再折騰就沒意思了
不行,後面要使用資料庫,資料庫再server上,發覺我沒啟動server上的客戶端。啟動後就ok了。
之後我可能會嘗試擴充套件節點
總的步驟
全部勾選後繼續,點選紅框確定查詢Parcel路徑是否符合你的路徑
可以看到已經在安裝軟體包了,server會分發軟體安裝到/opt/cloudera.parcel-repo目錄下
2個警告:
解決辦法,針對所有機器執行:
echo 10 > /proc/sys/vm/swappiness
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
預設spark版本為1.6【改天記錄下升級2.1】
我這裡的分配是:
zookeeper全裝;
namenode在server也就是host5上,不裝datanode,host5效能最優;cloudera manager相關的服務全放server上;
HBASE相關的也沒有放在namenode上,都放在了host6;
Activity Monitor要選擇裝資料庫的機器,我這裡是host5;
spark相關放在host7
yarn相關放在host8
之前說的資料庫測試
namenode格式化失敗
~可是我機器明明都是重灌的啊~
試了4次,都是這樣。。。
有人說記憶體不足,好吧,第五次我就只裝hdfs和spark
還是這樣。
就這樣暫時結束吧。。。
終於在2018/4/8安裝完成(心痛自己一分鐘-**-)
(虛擬機器是重搭的,之前的5/6/7/8沒用了)總結一下以前的問題:
全是資料庫的問題:
- cmf建立問題
- mysql-connector問題
其他
又重啟虛擬機器:VBOX_E_FILE_ERROR (0x80BB0004
原來備份是要儲存的,我以為只是記錄一些關鍵資訊。。。
手動修改時間:
date -s ‘2018-03-31 16:45:34’
虛擬機器擴容
virtualBox
【提示:最終未成功】
- 檢視需要擴容的UUID:
VBoxManage list hdds - 建立一個空的vdi虛擬機器介質:
VBoxManage.exe createhd -filename “C:\Users\Administrator\VirtualBox VMs\host0\host0_1” -size 11920 -format VDI -variant Standard - 合併(克隆命令):
VBoxManage.exe clonehd be0b6dd7-c118-4715-be45-23e7ece0b946 7cf52f66-ea8d-4741-941f-876360fcfdab –existing - 檢視:
- 新增硬碟硬碟(點選紅框,選擇彈出的“選擇一個虛擬硬碟”)
- 沒成功。。。
TODO
叢集擴充套件
參考
小生目前山西大學大三學生,最近計劃實習,主要學習大資料,J2EE,機器學習。
同道的前輩,師兄弟姐妹們,歡迎掃碼加微(/抱拳\)。或指點一二,或共同探討學習!
文章的不妥之處,歡迎各位前輩斧正!
相關推薦
虛擬機器\物理機上5臺伺服器cloudrea manager5.12大資料平臺搭建(持續更新)
前言 全文共1.4w字(僅安裝整個大資料平臺,關於cdh manager管理,會單獨記錄)。相比有的地方几十頁的文件已經少了不少,但是還真的比較多。強烈建議多看官方文件,寫得特別詳細,是的,確實有些多。一定要耐心,一定要仔細仔細再仔細。相信我,
redis cluster 一個問題:雙master不能在一個虛擬機器/物理機上
標題說的有點不夠明確 :雙master不能在一個虛擬機器/( 或物理機)上,指的是三主三從結構,並且一個虛機部署一個master 和一個slave 問題如下 :6臺虛機(每臺3g記憶體),做三主三從結構 原因如下: 因為redis cluster 官方的偵聽節點fai
使用KVM虛擬機器遇到的問題(持續更新)
1.qemu-kvm、kvm、qemu 和 qemu-system-x86_64四種命令的區別 qemu 和 qemu-system-x86_64:啟動qemu虛擬機器的命令,x86_64為64位系統時使用的命令 qemu-x86_64 僅僅模擬CPU qemu-syst
Java虛擬機器詳解(五)------JVM引數(持續更新)
JVM引數有很多,其實我們直接使用預設的JVM引數,不去修改都可以滿足大多數情況。但是如果你想在有限的硬體資源下,部署的系統達到最大的執行效率,那麼進行相關的JVM引數設定是必不可少的。下面我們就來對這些JVM引數進行詳細的介紹。 JVM引數主要分為以下三種(可以根據書寫形式來區分): 1、標準引
深入理解Java虛擬機器--個人總結(持續更新)
# 深入理解Java虛擬機器--個人總結(持續更新) **每天按照書本學一點,會把自己的總結思考寫下來,形成輸出,持續更新,立帖為證** ```java -- 2020年7月7日 開始第一次學習 -- 2020年7月8日 今天在百忙Rush B中抽出時間,學了點習,計劃明天把本地方法棧和Java堆看完總結
機器學習課程不完全收錄(持續更新)
google 趨勢 con ash color mooc tar 業界 積極 機器學習已經火遍全球了,目前幾乎所有科技公司都或多或少都在積極地響應AI的趨勢,但是此時需要培養更多的人工智能和機器學習專家,然而優質的學習資源卻相當匱乏。幾大科技巨頭和業界領軍大神也相應提供了各
github上值得關注的機器學習深度學習大牛(持續更新)
前言: 因為想搜相關內容發現搜到的基本上都是前端大牛(這可能是由於js是github上最受歡迎的語言),所以打算自己mark一下同時方便他人,於是寫下這篇博文,本文持續更新,如果有童鞋覺得有不錯的賬號也可以評論推薦給我~我也會更新上去~ 大牛:(排名不分先後) 一: Wes McKinn
機器學習專項練習筆記(持續更新)
##1.卷積神經網路計算尺寸 輸出尺寸=(輸入尺寸-filter尺寸+2*padding)/stride+1 卷積向下取整,池化向上取整 stride=1時,當kernel=3,padding=1或kernel=5,padding=2 卷積前後尺寸不變。 ##2.序列模式挖掘
機器學習/深度學習資源下載合集(持續更新...)
這篇文章轉載自「譯智社」的成員 —— 林夕的文章機器學習/深度學習資源下載集合(持續更新…)。如果你對人工智慧感興趣,歡迎關注公眾號 —— 譯智社。 從入門到進階,所用到機器學習資料,包括書、視訊、原始碼。文章首發於 Github,若下載資源請跳轉 Github. 文
D001.5 Docker搭建大資料叢集環境(基礎篇)
0x00 教程內容 0x01 Docker的安裝 1. 2. 3. 0x02 Docker的簡單操作 1. 2. 3. 0x03 Docker資料卷 Docker的資料卷與Centos的
機器學習面試常見題總結(持續更新)
1、邏輯迴歸(LR)損失函式為什麼使用最大似然估計而不用最小二乘法?連結:https://www.zhihu.com/question/65350200/answer/266277291首先,機器學習的損失函式是人為設計的,用於評判模型好壞(對未知的預測能力)的一個標準、尺子
2016年計算機視覺&機器學習領域國內重要會議 彙總 (持續更新)
前言 國內每年都會舉辦很多計算機視覺(Computer Vision,CV)、 機器學習(Machine Learning,ML)領域相關的很多學術會議和研討會等。有一些是收費徵稿的學術會議,有一些是免費不徵稿的研討會;有一些偏重學術研究,有一些偏重應用落地;
【機器學習】【深度學習】【人工智慧】【演算法工程師】面試問題彙總(持續更新)
1. 演算法 【1】動態規劃經典題目總結 2. 資料結構 2.1 陣列和字串 【1】【演算法】刪除一個數組中為0的元素 【2】牛客網線上程式設計專題《劍指offer-面試題34》醜數 【3】牛客網線上程式設計專題《劍指offer-面試題4》替換空格 【4】牛客網線上程
機器學習、深度學習、計算機視覺、自然語言處理及應用案例——乾貨分享(持續更新......)
機器學習、深度學習、計算機視覺、自然語言處理及應用案例——乾貨分享(持續更新……) GitChat提問碼: 1、機器學習/深度學習 1.1 對抗生成網路GAN 【2017.04.21】 對抗生成網路GAN變種大集合
機器學習、深度學習、計算機視覺、自然語言處理及應用案例——乾貨分享(持續更新……)
人臉檢測與識別的趨勢和分析 【paper】【GitHub】【全域性/區域性一致影象補全】《Globally and Locally Consistent Image Completion》S Iizuka, E Simo-Serra, H Ishikawa (2017) 【paper】【GitHub】【基
如何將一塊物理網絡卡分配給一臺VMWare虛擬機器(VMWare ESXi 5.0)
首先用 VMware vSphere Client 登入 ESXi 伺服器,進入伺服器的“配置”頁,然後進入“網路”選項: 可以看到當前用了一塊物理網絡卡,連線了一個虛擬交換機vSwitch0,虛擬交換機裡面,接了4臺虛擬機器。 現在需要做的,就是再用另外一塊物
修改Vmware Workstation虛擬機器物理硬碟序列號ID
有些軟體的註冊機制是根據物理硬碟序列號來作為唯一的識別符號。此序列號寫在硬碟的韌體裡面。一般的方法是無法修改此序列號的。 如果需要無限試用軟體可以讓軟體在虛擬機器內執行。試用期到了之後修改硬碟物理序列號好可以繼續試用。 修改方法: 用winhex開啟vmware-vmx.exe,如果是3
讀書筆記 ---- 《深入理解Java虛擬機器》---- 第5篇:類檔案結構
上一篇:虛擬機器效能監控與故障處理工具:https://blog.csdn.net/pcwl1206/article/details/84197113 第5篇:類檔案結構 開篇說明:本文的重點就是類檔案結構,只需要清楚Class檔案格式中的各名稱的實際意義就行,不用對具體名稱下的細節進行深究
一臺虛擬機器搞定負載均衡lvs-NAT模式和lvs-DR模式搭建
首先來說一下負載均衡,為了解決一個伺服器不能支撐大併發量使用者的訪問,所以通過負載均衡的方法來解決這個問題,負載均衡有兩種實現方案,一種是通過硬體來實現可以購買 f5裝置,一種是通過軟體來實現如lvs、nginx等,由於lvs直接是linux系統核心級別的,實現起來方便所以仙子主要講解lvs實現
Linux學習_003_虛擬機器CentOS 7.5 如何固定IP地址
我們在使用虛擬機器的時候,虛擬機器的IP往往會變化,前期配置的SecureCRT連線、FTP連線需要重新修改,給我們的使用造成很大的不便。本文介紹瞭如何固定虛擬機器CentOS 7.5的IP的方法。 環境: 本地主機:win10 虛擬機器軟體:Vmware 14 PRO 虛擬機器:Cent