2. 程式人生 > >MySQL學習筆記03MySQL集群的安裝部署

MySQL學習筆記03MySQL集群的安裝部署

阿新 • • 發佈：2017-08-04
key 復雜 手工 file python2.6 nap con 裝包 9.png

1.1.1. 準備安裝包

從MySQL官網下載以下安裝包：

mysql-cluster_7.5.7-1ubuntu14.04_amd64.deb-bundle.tar

解壓後得到以下deb安裝包文件：

mysql-client_7.5.7-1ubuntu14.04_amd64.deb mysql-cluster-community-nodejs_7.5.7-1ubuntu14.04_amd64.deb

mysql-cluster-community-auto-installer_7.5.7-1ubuntu14.04_amd64.deb mysql-cluster-community-server_7.5.7-1ubuntu14.04_amd64.deb

mysql-cluster-community-client_7.5.7-1ubuntu14.04_amd64.deb mysql-cluster-community-source_7.5.7-1ubuntu14.04_amd64.deb

mysql-cluster-community-data-node_7.5.7-1ubuntu14.04_amd64.deb mysql-cluster-community-test_7.5.7-1ubuntu14.04_amd64.deb

mysql-cluster-community-java_7.5.7-1ubuntu14.04_amd64.deb mysql-common_7.5.7-1ubuntu14.04_amd64.deb

mysql-cluster-community-management-server_7.5.7-1ubuntu14.04_amd64.deb mysql-server_7.5.7-1ubuntu14.04_amd64.deb

mysql-cluster-community-memcached_7.5.7-1ubuntu14.04_amd64.deb mysql-testsuite_7.5.7-1ubuntu14.04_amd64.deb

為了成功安裝，還需要準備以下依賴軟件包：

libaio1_0.3.109-4_amd64.deb libmecab2_0.996-1.1_amd64.deb

1.1.2. 安裝相關軟件

執行deb -i xxxxx.deb命令，安裝前面介紹的各個軟件包。安裝的次序如下：

(1)安裝依賴包。

libaio1_0.3.109-4_amd64.deb libmecab2_0.996-1.1_amd64.deb

(2)安裝python相關包。

MySQL Cluster的部署程序使用Python編寫，需要python以及相關庫的支持。

安裝之前確保系統上已經安裝了python2.6或更高版本。

sudo apt-get install python-pip

sudo pip install paramiko

sudo pip install pycrypto

(3)安裝集群相關包。

在安裝這些軟件包之前，請確保先將MySQL單機版完全從系統中刪除掉。

mysql-cluster-community-auto-installer_7.5.7-1ubuntu14.04_amd64.deb

mysql-common_7.5.7-1ubuntu14.04_amd64.deb

mysql-cluster-community-client_7.5.7-1ubuntu14.04_amd64.deb

mysql-client_7.5.7-1ubuntu14.04_amd64.deb

mysql-cluster-community-nodejs_7.5.7-1ubuntu14.04_amd64.deb

mysql-cluster-community-data-node_7.5.7-1ubuntu14.04_amd64.deb mysql-cluster-community-java_7.5.7-1ubuntu14.04_amd64.deb mysql-cluster-community-management-server_7.5.7-1ubuntu14.04_amd64.deb mysql-cluster-community-server_7.5.7-1ubuntu14.04_amd64.deb

上述軟件全部安裝成功之後，軟件程序的安裝就完成了。

1.1.3. 部署集群

MySQL Cluster安裝包安裝完畢後，提供了一個web程序: /usr/bin/ndb_setup.py。這個程序用於快速部署MySQL Cluster。

(1)運行ndb_setup.py。

ndb_setup.py

Running out of install dir: /usr/bin

Starting web server on port 8081

deathkey=319875

Press CTRL+C to stop web server.

Navigate to http://localhost:8081/welcome.html to launch the application.

(2)在瀏覽器中完成部署。

使用較高版本的IE,Firefox,或chrome瀏覽器訪問http://localhost:8081/welcome.html。

(a)選擇建立新集群。

初次使用時選擇：Create New MySQL Cluster創建新的集群。在部署之後，需要修改現有集群時，使用Continue Previous Cluster Configuration。

技術分享

(b)定義SSH用戶名和密碼。

技術分享

(c)定義集群中的主機。

每個主機可以使用IP地址或者主機名。使用主機名使得部署復雜集群時更為靈活。添加新主機後會自動測試，需要主機開放了sshd服務。測試成功會在Resource欄顯示OK，否則顯示FAILED。

技術分享

(d)分配節點。

在定義完主機之後，需要將主機分配為集群的節點。一個主機可以分配成多個節點。主機是物理上的概念，節點是一個邏輯概念。整個集群中，至少需要存在一個管理節點，一個數據節點，一個SQL節點。

技術分享

(e)定義節點參數。

節點參數保持默認狀態即可，通常不需要修改。

技術分享

(f)部署和啟動服務。

在部署之前，建議先停止掉安裝過程中自動啟動的MySQL Cluster Server服務(mysqld)。

可以直接在此畫面中，將前面設置的節點及其參數部署到對應的主機上，前提條件是這些主機上都已經安裝了MySQL Cluster相關軟件。此時還可以同時啟動這些服務。

技術分享

(g)部署成功之後集群目錄結構：

前面部署的各個主機mc1到mc5通過域名服務器映射到同一個物理機器(192.168.197.142)上之後，得到整個集群的完整目錄結構如下，包含了4個節點。

/opt/mysql_cluster

.

|-1

|---data

|-----49

|-3

|---data

|-----61

|-------data

|---------coe2coe

|---------mysql

|---------ndbinfo

|---------performance_schema

|---------sys

|-------mysql

|-------test

|-------tmp

|-4

|---data

|-----1

|-------ndb_1_fs

|---------D1

|-----------DBDICT

|-------------T1

|-------------T2

|-------------T3

|-------------T4

|-------------T5

|-------------T6

|-------------T7

|-------------T8

|-------------T9

|-----------DBDIH

|---------D10

|-----------DBLQH

|---------D11

|-----------DBLQH

|---------D2

|-----------DBDICT

|-------------T1

|-------------T2

|-------------T3

|-------------T4

|-------------T5

|-------------T6

|-------------T7

|-------------T8

|-------------T9

|-----------DBDIH

|---------D8

|-----------DBLQH

|---------D9

|-----------DBLQH

|---------LCP

|-----------0

|-5

|---data

|-----2

|-------ndb_2_fs

|---------D1

|-----------DBDICT

|-------------T1

|-------------T2

|-------------T3

|-------------T4

|-------------T5

|-------------T6

|-------------T7

|-------------T8

|-------------T9

|-----------DBDIH

|---------D10

|-----------DBLQH

|---------D11

|-----------DBLQH

|---------D2

|-----------DBDICT

|-------------T1

|-------------T2

|-------------T3

|-------------T4

|-------------T5

|-------------T6

|-------------T7

|-------------T8

|-------------T9

|-----------DBDIH

|---------D8

|-----------DBLQH

|---------D9

|-----------DBLQH

|---------LCP

|-----------0

1.1.4. 管理節點配置文件

管理節點的配置文件包括：

管理節點的參數。

數據節點的參數。

SQL節點的參數。

TCP參數。

管理節點的配置文件的具體內容如下：

[[email protected]:/opt/mysql_cluster/1/data/49]$cat config.ini

#

# Configuration file for MyCluster

#

[NDB_MGMD DEFAULT]

Portnumber=1186

[NDB_MGMD]

NodeId=49

HostName=mc1.coe2coe.me

DataDir=/opt/mysql_cluster/1/data/49/

Portnumber=1186

[TCP DEFAULT]

SendBufferMemory=2M

ReceiveBufferMemory=2M

[NDBD DEFAULT]

BackupMaxWriteSize=1M

BackupDataBufferSize=16M

BackupLogBufferSize=4M

BackupMemory=20M

BackupReportFrequency=10

MemReportFrequency=30

LogLevelStartup=15

LogLevelShutdown=15

LogLevelCheckpoint=8

LogLevelNodeRestart=15

DataMemory=64M

IndexMemory=64M

MaxNoOfTables=4096

MaxNoOfTriggers=3500

NoOfReplicas=2

StringMemory=25

DiskPageBufferMemory=64M

SharedGlobalMemory=64M

LongMessageBuffer=32M

MaxNoOfConcurrentTransactions=16384

BatchSizePerLocalScan=512

FragmentLogFileSize=64M

NoOfFragmentLogFiles=16

RedoBuffer=32M

MaxNoOfExecutionThreads=2

StopOnError=false

LockPagesInMainMemory=1

TimeBetweenEpochsTimeout=32000

TimeBetweenWatchdogCheckInitial=60000

TransactionInactiveTimeout=60000

HeartbeatIntervalDbDb=15000

HeartbeatIntervalDbApi=15000

[NDBD]

NodeId=1

HostName=mc4.coe2coe.me

DataDir=/opt/mysql_cluster/4/data/1/

[NDBD]

NodeId=2

HostName=mc5.coe2coe.me

DataDir=/opt/mysql_cluster/5/data/2/

[MYSQLD DEFAULT]

[MYSQLD]

NodeId=61

HostName=mc3.coe2coe.me

1.1.5. SQL節點的配置文件

SQL節點的配置文件具體內容如下：

[[email protected]:/opt/mysql_cluster]$cat 3/data/61/my.cnf

#

# Configuration file for MyCluster

# Generated by mcc

#

[mysqld]

log-error=mysqld.61.err

datadir="/opt/mysql_cluster/3/data/61/data"

tmpdir="/opt/mysql_cluster/3/data/61/tmp"

basedir="/usr/"

bind-address=0.0.0.0

port=3306

ndbcluster=on

ndb-nodeid=61

ndb-connectstring=mc1.coe2coe.me:1186,

socket="/opt/mysql_cluster/3/data/61/mysql.socket"

1.1.6. 集群狀態

(1)節點狀態。

使用ndb_mgm管理工具查看集群狀態：

ndb_mgm -e show

Connected to Management Server at: localhost:1186

Cluster Configuration

---------------------

[ndbd(NDB)] 2 node(s)

id=1 @192.168.197.142 (mysql-5.7.19 ndb-7.5.7, Nodegroup: 0, *)

id=2 @192.168.197.142 (mysql-5.7.19 ndb-7.5.7, Nodegroup: 0)

[ndb_mgmd(MGM)] 1 node(s)

id=49 @192.168.197.142 (mysql-5.7.19 ndb-7.5.7)

[mysqld(API)] 1 node(s)

id=61 @192.168.197.142 (mysql-5.7.19 ndb-7.5.7)

已經有4個節點處於運行狀態，包括1個管理節點，1個SQL節點和2個數據節點。MySQL集群已經成功啟動運行了。

(2)進程狀態：

[[email protected]:/opt/mysql_cluster]$ps -elf|grep ndb

1 S d 2334 1 1 80 0 - 208795 poll_s 11:44 ? 00:00:30 /usr/sbin/ndb_mgmd --ndb-nodeid=49 --config-dir=/opt/mysql_cluster/1/data/49/ --config-file=/opt/mysql_cluster/1/data/49/config.ini

1 S d 2348 1 0 80 0 - 8911 poll_s 11:44 ? 00:00:00 /usr/sbin/ndbmtd --ndb-nodeid=1 --ndb-connectstring=mc1.coe2coe.me:1186,

1 S d 2349 2348 3 80 0 - 172985 ep_pol 11:44 ? 00:01:29 /usr/sbin/ndbmtd --ndb-nodeid=1 --ndb-connectstring=mc1.coe2coe.me:1186,

1 S d 2391 1 0 80 0 - 8911 poll_s 11:44 ? 00:00:00 /usr/sbin/ndbmtd --ndb-nodeid=2 --ndb-connectstring=mc1.coe2coe.me:1186,

1 S d 2392 2391 3 80 0 - 189369 ep_pol 11:44 ? 00:01:27 /usr/sbin/ndbmtd --ndb-nodeid=2 --ndb-connectstring=mc1.coe2coe.me:1186,

0 S d 2706 2135 0 80 0 - 4154 pipe_w 12:25 pts/1 00:00:00 grep --color=auto ndb

[[email protected]:/opt/mysql_cluster]$ps -elf|grep mysqld

0 S d 2635 1 1 80 0 - 390524 poll_s 11:51 pts/1 00:00:26 /usr/sbin/mysqld --defaults-file=/opt/mysql_cluster/3/data/61/my.cnf

0 S d 2708 2135 0 80 0 - 4154 pipe_w 12:25 pts/1 00:00:00 grep --color=auto mysqld

可以看到：

有1個管理節點的ndb_mgmd進程，進程ID為2334。

有2個數據節點的ndbmtd進程，其中節點1的2個進程ID分別為2349,2348；節點2的2個進程ID分別為2391,2392。

有1個SQL節點的mysqld進程，進程ID為2635。

(3)TCP連接狀態：

(a)ndb_mgmd相關連接。

[[email protected]:/opt/mysql_cluster]$sudo netstat -nap |grep tcp |grep ndb_mgmd

tcp 0 0 0.0.0.0:1186 0.0.0.0:* LISTEN 2334/ndb_mgmd

tcp 0 0 192.168.197.142:1186 192.168.197.142:38285 ESTABLISHED 2334/ndb_mgmd

tcp 0 0 127.0.0.1:40600 127.0.0.1:1186 ESTABLISHED 2334/ndb_mgmd

tcp 0 0 192.168.197.142:1186 192.168.197.142:38284 ESTABLISHED 2334/ndb_mgmd

tcp 0 0 192.168.197.142:1186 192.168.197.142:38288 ESTABLISHED 2334/ndb_mgmd

tcp 0 0 192.168.197.142:1186 192.168.197.142:38286 ESTABLISHED 2334/ndb_mgmd

tcp 0 0 192.168.197.142:1186 192.168.197.142:38283 ESTABLISHED 2334/ndb_mgmd

tcp 0 0 127.0.0.1:1186 127.0.0.1:40600 ESTABLISHED 2334/ndb_mgmd

可以看到以下信息：

管理節點的服務ndb_mgmd進程在1186端口監聽，有5個來自192.168.197.142的連接。

(b)ndbmtd相關連接。

數據節點建立的監聽端口：

[[email protected]:/opt/mysql_cluster]$sudo netstat -nap |grep tcp |grep ndbmtd |grep LISTEN

tcp 0 0 192.168.197.142:35334 0.0.0.0:* LISTEN 2349/ndbmtd

tcp 0 0 192.168.197.142:49677 0.0.0.0:* LISTEN 2392/ndbmtd

tcp 0 0 192.168.197.142:40758 0.0.0.0:* LISTEN 2349/ndbmtd

數據節點與管理節點的連接：

[[email protected]:/opt/mysql_cluster]$sudo netstat -nap |grep tcp |grep ndbmtd |grep 1186

tcp 0 0 192.168.197.142:38285 192.168.197.142:1186 ESTABLISHED 2391/ndbmtd

tcp 0 0 192.168.197.142:38286 192.168.197.142:1186 ESTABLISHED 2392/ndbmtd

tcp 0 0 192.168.197.142:38283 192.168.197.142:1186 ESTABLISHED 2348/ndbmtd

tcp 0 0 192.168.197.142:38284 192.168.197.142:1186 ESTABLISHED 2349/ndbmtd

數據節點之間的連接：

[[email protected]:/opt/mysql_cluster]$sudo netstat -nap |grep tcp |grep ndbmtd |grep 35334

tcp 0 0 192.168.197.142:35334 0.0.0.0:* LISTEN 2349/ndbmtd

tcp 0 0 192.168.197.142:35334 192.168.197.142:53294 ESTABLISHED 2349/ndbmtd

[[email protected]:/opt/mysql_cluster]$sudo netstat -nap |grep tcp |grep ndbmtd |grep 49677

tcp 0 0 192.168.197.142:49677 0.0.0.0:* LISTEN 2392/ndbmtd

tcp 0 0 192.168.197.142:49677 192.168.197.142:46707 ESTABLISHED 2392/ndbmtd

[[email protected]:/opt/mysql_cluster]$sudo netstat -nap |grep tcp |grep ndbmtd |grep 40758

tcp 0 0 192.168.197.142:40758 0.0.0.0:* LISTEN 2349/ndbmtd

tcp 0 0 192.168.197.142:60231 192.168.197.142:40758 ESTABLISHED 2392/ndbmtd

tcp 0 0 192.168.197.142:40758 192.168.197.142:60231 ESTABLISHED 2349/ndbmtd

可以看到以下信息：

數據節點的4個進程各自與管理節點建立了1個TCP連接，數據節點之間也建立了TCP連接。

(c)mysqld相關連接。

[[email protected]:/opt/mysql_cluster]$sudo netstat -nap |grep tcp |grep mysqld

tcp 0 0 0.0.0.0:3306 0.0.0.0:* LISTEN 2635/mysqld

tcp 0 0 192.168.197.142:46707 192.168.197.142:49677 ESTABLISHED 2635/mysqld

tcp 0 0 192.168.197.142:38288 192.168.197.142:1186 ESTABLISHED 2635/mysqld

tcp 0 0 192.168.197.142:53294 192.168.197.142:35334 ESTABLISHED 2635/mysqld

可以看到，SQL節點建立了3306端口的監聽，同時連接到了2個數據節點。

(4)使用sql查詢節點之間的連接狀態。

mysql> select node_id,remote_node_id,status from ndbinfo.transporters;

+---------+----------------+--------------+

| node_id | remote_node_id | status |

+---------+----------------+--------------+

| 1 | 1 | DISCONNECTED |

| 1 | 2 | CONNECTED |

| 1 | 49 | CONNECTED |

| 1 | 61 | CONNECTED |

| 2 | 1 | CONNECTED |

| 2 | 2 | DISCONNECTED |

| 2 | 49 | CONNECTED |

| 2 | 61 | CONNECTED |

+---------+----------------+--------------+

8 rows in set (0.01 sec)

可以看到，兩個數據節點(1和2)分別跟其它所有節點(包括管理節點49,SQL節點61）都建立了連接。

1.1.7. 集群啟動腳本

通過這種圖形化的Web應用來部署集群非常方便，但是每次啟動集群都使用這個工具就很不方便，而且可能會覆蓋在主機中手工修改的集群參數。此時編寫一個簡單的腳本即可解決此問題。

總共有5個腳本文件：

[[email protected]:/opt/mysql_cluster/home]$ls

start_ndb_mgmd.sh 啟動管理節點。

start_ndbmtd1.sh 啟動數據節點1。

start_ndbmtd2.sh 啟動數據節點2。

start_mysqld.sh 啟動SQL節點。

cluster_start.sh 啟動整個集群的總控制腳本文件。

各個腳本的內容如下：

[[email protected]:/opt/mysql_cluster/home]$cat start_ndb_mgmd.sh

#!/bin/bash

/usr/sbin/ndb_mgmd --initial --ndb-nodeid=49 --config-dir=/opt/mysql_cluster/1/data/49/ --config-file=/opt/mysql_cluster/1/data/49/config.ini

[[email protected]:/opt/mysql_cluster/home]$cat start_ndbmtd1.sh

#!/bin/bash

/usr/sbin/ndbmtd --ndb-nodeid=1 --ndb-connectstring=mc1.coe2coe.me:1186,

[[email protected]:/opt/mysql_cluster/home]$cat start_ndbmtd2.sh

#!/bin/bash

/usr/sbin/ndbmtd --ndb-nodeid=2 --ndb-connectstring=mc1.coe2coe.me:1186,

[[email protected]:/opt/mysql_cluster/home]$cat start_mysqld.sh

#!/bin/bash

/usr/sbin/mysqld --defaults-file=/opt/mysql_cluster/3/data/61/my.cnf &

[[email protected]:/opt/mysql_cluster/home]$cat cluster_start.sh

#!/bin/bash

echo "Starting ndb_mgmd ....."

/opt/mysql_cluster/home/start_ndb_mgmd.sh

sleep 5

echo "Starting ndbmtd1 ....."

/opt/mysql_cluster/home/start_ndbmtd1.sh

sleep 3

echo "Starting ndbmtd2 ......"

/opt/mysql_cluster/home/start_ndbmtd2.sh

sleep 3

echo "Starting mysqld ......"

/opt/mysql_cluster/home/start_mysqld.sh

echo "Done."

echo "==========================="

通過調整cluster_start.sh腳本的具體內容，可以控制在某臺主機上需要啟動的節點。

將所有節點部署在同一臺主機上時，運行啟動腳本：

[[email protected]:/opt/mysql_cluster/home]$./cluster_start.sh

Starting ndb_mgmd .....

MySQL Cluster Management Server mysql-5.7.19 ndb-7.5.7

2017-07-29 12:44:02 [MgmtSrvr] WARNING -- at line 22: [DB] BackupMemory is deprecated, use Total memory allocated for backups per node (in bytes) instead

Starting ndbmtd1 .....

2017-07-29 12:44:08 [ndbd] INFO -- Angel connected to ‘mc1.coe2coe.me:1186‘

2017-07-29 12:44:08 [ndbd] INFO -- Angel allocated nodeid: 1

Starting ndbmtd2 ......

2017-07-29 12:44:11 [ndbd] INFO -- Angel connected to ‘mc1.coe2coe.me:1186‘

2017-07-29 12:44:11 [ndbd] INFO -- Angel allocated nodeid: 2

Starting mysqld ......

Done.

===========================

集群啟動成功。

1.1.8. 關閉集群

執行以下命令關閉集群：

ndb_mgmd -e shutdown

執行以下命令關閉SQL節點的mysqld服務：

mysql -uroot -p -e shutdown

MySQL學習筆記03MySQL集群的安裝部署

相關推薦

MySQL學習筆記03MySQL集群的安裝部署

key 復雜 手工 file python2.6 nap con 裝包 9.png 1.1.1. 準備安裝包 從MySQL官網下載以下安裝包： mysql-cluster_7.5.7-1ubuntu14.04_amd64.deb-bundle.tar 解壓後得到以下de

Storm筆記整理（三）：Storm集群安裝部署與Topology作業提交

大數據 實時計算 Storm [TOC] Storm分布式集群安裝部署 概述 Storm集群表面類似Hadoop集群。但在Hadoop上你運行的是”MapReduce jobs”，在Storm上你運行的是”topologies”。”Jobs”和”topologies”是大不同的，一個關鍵不同是

Mysql上的RAC：Percona XtraDB Cluster負載均衡集群安裝部署手冊

lpad protoc tps san make interact 連接數 文章 html 版權聲明：本文為博主原創文章，未經博主同意不得轉載。 https://blog.csdn.net

redis4.0.1集群安裝部署

com cal slots server tcl copy trunc 節點 append 安裝環境 序號 項目 值 1 OS版本 Red Hat Enterprise Linux Server release 7.1 (Maipo)

Zookeeper集群安裝部署

機器 apr comm aps 請求 com ron build 增刪改 zookeeper集群： zookeeper作為一個開源的分布式應用協調系統，已經用到了許多分布式項目中，用來狀態同步服務、集群管理、分布式應用配置項的管理等工作。 ZooKeeper的工作模式有

kubernetes集群安裝部署

std iptable 接口 dock ole 日誌級別 name -m entos 部署環境說明： 1、CENTOS 7.4 2、Docker version 17.05.0 3、etcd Version: 3.3.8

spark集群安裝部署

track 2.7 問題 rac 驗證配置 ogg host 格式 file 通過Ambari(HDP)或者Cloudera Management (CDH)等集群管理服務安裝和部署在此不多介紹，只需要在界面直接操作和配置即可，本文主要通過原生安裝，熟悉安裝配置流程。 1.

HDFS集群安裝部署

pps ext 生效 boot art 命令 修改 profile ati 1-> 集群的準備工作 1）關閉防火墻(進行遠程連接) systemctl stop firewalld systemctl -disable firewalld 2）永久修改設置主

vue.js學習筆記，一、安裝部署

1、sudo npm install -g cnpm –registry=https://registry.npm.taobao.org 安裝cnpm淘寶映象 2、cpm -v 3、

（學習筆記版）Hadoop入門（一）：Hadoop2.7.3完全分布式集群安裝

min property per cal mon 分別是 master 修改 node 在這裏寫下安裝hadoop2.7.3版本的完全分布式的過程，因為剛開始學習hadoop不久，希望自己把學習的東西記錄下來，和大家一起分享，可能有錯誤的地方，還請大牛們批評指正，在我學習的

mysql學習筆記(1-安裝簡介)

配置文件 服務器 二進制 mysql 通用 mysql的安裝方式：(1)通過系統提供的默認版本(穩定版，該版本滿足了使用的需求，建議使用，os vendor)(2)mysql官方提供 官方提供的通用rpm安裝包 官方提供的文件，以文件覆蓋的方式安裝 源碼包編譯安裝

MySQL學習筆記01安裝MySQL服務器軟件

unit mysq ubuntu sudo sql 準備 安裝 tar 啟動 1.1. 默認安裝 以mysql community server 5.7.19為例，安裝步驟如下： (1)安裝libaio。版本必須大於或等於這個版本。 libaio1_0.3.109-4_

在kubernetes集群中部署mysql主從

-c git node watermark fff tar 配置連接 top c-s 本文介紹在kubernetes環境中部署mysql主從集群，數據持久化采用nfs。 一、環境介紹Mysql版本：5.7 Mysql master節點： 主機名：vm1IP地址：192.16

HBase學習之路 （二）HBase集群安裝

star java_home 服務 blog usr mirrors logs 技術 ron 前提 1、HBase 依賴於 HDFS 做底層的數據存儲 2、HBase 依賴於 MapReduce 做數據計算 3、HBase 依賴於 ZooKeeper 做服務協調 4

學習筆記(2)centos7 下安裝mysql

uri start epo 改密 學習筆記 服務 方式 文件 ref centos7安裝mysql 本文通過yum方式安裝mysql 1.添加mysql yum 倉庫 去mysql開發者中心(http://dev.mysql.com/downloads/repo/yum/

ElasticSearch筆記整理（二）：CURL操作、ES插件、集群安裝與核心概念

大數據 ElasticSearch ELK [TOC] CURL操作 CURL簡介 curl是利用URL語法在命令行方式下工作的開源文件傳輸工具，使用curl可以簡單實現常見的get/post請求。簡單的認為是可以在命令行下面訪問url的一個工具。在centos的默認庫裏面是有curl工具的，如

<MySQL 學習筆記> MySQL安裝

mysql- targe font 16px In size 下載 https target 下載教程: http://www.runoob.com/mysql/mysql-install.html 安裝具體教程 : https://jingyan.baidu.com/ar

學習筆記:從0開始學習大資料-12. spark安裝部署

為了教學方便，考慮ALL IN ONE，一臺虛擬機器構建整個實訓環境，因此是偽分散式搭建spark  環境： 　　hadoop2.6.0-cdh5.15.1 　　jdk1.8 　　centos7 64位 1. 安裝scala環境 版本是scala-2.12.7，官網下載

學習筆記:從0開始學習大資料-11. sqoop安裝部署

環境：centos7 已安裝java和hadoop 1.下載 wget http://archive.cloudera.com/cdh5/cdh/5/sqoop2-1.99.5-cdh5.16.0.tar.gz 2.解壓 tar -zxvf sqoop2-1.99.5-cdh5.16.0.t

學習筆記:從0開始學習大資料-10. hive安裝部署

1. 下載 wget http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.15.1.tar.gz 2.解壓 tar -zxvf hive-1.1.0-cdh5.15.1.tar.gz 3.  hive的元資料（如表名，列