ubuntu 18.04下greenplum安裝筆記(一)Linux下基礎環境的搭建
背景
需要構建一個用於資料倉庫的分散式資料庫叢集。
每一個節點暫時不需要進行備份,同時也不考慮壞掉的情況。
每一個數據節點最好都不用進行過多的配置,安裝起來方便。
Greenplum的Shared-Nothing的設計思路很適合我目前的業務場景。
物理環境
4檯安裝了Linux的主機,安裝的作業系統的版本均為Lubuntu 18.04。
其中,我給他們取號了名字:
- xiaoyao (逍遙)
- 身份:MyCat節點
- IP地址:192.168.0.200
- linger (靈兒)
- 身份:資料節點1
- IP地址:192.168.0.201
- yueru (月如)
- 身份:資料節點2
- IP地址:192.168.0.202
- anu (阿奴)
- 身份:資料節點3
- IP地址:192.168.0.203
其中,機器對應的Master和Segment如下分配:
“逍遙”作為Master節點,其他三個節點作為Segment節點,每個機器上配置兩個Primary Segment和兩個Mirror Segment;同時“阿奴”作為Master Standy節點。
好了。下載來開始安裝。
配置網路
首先為每一臺lubutu安裝所缺的依賴:
sudo apt-get install net-tools vim -y
配置ip地址
進入系統後,點選右下角的網路按鈕,再點選“編輯連線...”,會彈出一個網路連線視窗,選擇你目前的連線(以xiaoyao為例,我在xiaoyao上面使用的網路連線顯示為“有線連線1”)並雙擊進入,選擇彈出視窗上方的“IPv4設定”,然後將“方法(M):”對應的“自動(DHCP)”改為“手動”,並在下方一條靜態ip資訊(即:點選中間右側的“新增(A)”),資訊如下:
- 地址:192.168.0.200
- 子網掩碼:255.255.255.0 (或者24)
- 閘道器:192.168.0.1
並配置DNS伺服器地址為:8.8.8.8
點選右下角儲存。重新啟動(或者執行命令列指令 sudo service network-manager restart
),在命令列輸入 ifconfig
,可以看到ip地址已經變為了192.168.0.200。
其他:按照這種方式在linger,yueru,anu上分別配置ip地址192.168.0.201~203。
建立專有使用者
為了方便起見,我們為每一臺電腦建立一個名為 gpadmin
的使用者,和其對應的名為 gpadmin
的使用者組。
首先,如果電腦上之前存在gpadmin或者gpadmin使用者組的話,我們應該先把他們清掉:
sudo groupdel gpadmin sudo userdel gpadmin
然後重新建一個:
sudo groupadd -g 530 gpadmin sudo useradd -g 530 -u 530 -m -d /home/gpadmin -s /bin/bash gpadmin
對資料夾進行賦權,為新使用者建立密碼:
sudo chown -R gpadmin:gpadmin /home/gpadmin/ sudo passwd gpadmin
其他:為其他三臺電腦也建立一個使用者gpadmin:gpadmin。
配置地址別名
可以通過 sudo vim /etc/hosts
來進行編輯,然後在檔案末尾新增如下資訊:
# hosts for greenplum 192.168.0.200 dw-greenplum-1 mdw 192.168.2.201 dw-greenplum-2 sdw1 192.168.0.202 dw-greenplum-3 sdw2 192.168.0.203 dw-greenplum-4 sdw3
其他:在其他三臺電腦上追加 .
0同樣的內容。
安裝ssh伺服器
ubuntu預設並沒有安裝和開啟ssh伺服器,因此,我們需要:
- 確定安裝sshd
sudo apt-get install openssh-server
- 檢查防火牆設定,關閉防火牆
sudo nfw disable
- 檢驗是否成功,執行下面的命令
ssh localhost
有的時候雖然成功了,但還是會出現connection refused的問題,這是,需要檢視一下sshd程序是否啟動。
執行下面的指令檢視是否有sshd程序:
ps -e | grep ssh
有時雖然可以看到sshd,但是還是不能連線成功,這是需要重啟一下ssh:
sudo service ssh restart
然後再次連線。
其他:對其他三臺電腦也同樣方法安裝ssh伺服器。
配置ssh直接訪問
進行操作之前需要切換使用者為gpadmin:gpadmin,畢竟我們接下來的操作是要在gpadmin的許可權下進行的:
su gpadmin
在xiaoyao上執行如下命令來生成唯一金鑰(之後將會scp到另外三臺電腦上):
ssh-keygen cp ~/.ssh/id_isa.pub ~/.ssh/authorized_keys chomd 600 ~/.ssh/authorized_keys chmod 700 ~/.ssh/
在其他三臺電腦上通過命令:
scp -r gpadmin@mdw:~/.ssh ~/.ssh
然後ssh配置檔案拷貝到本地。
接下來,便可以通過在任意一臺電腦上以gpadmin的身份執行:
ssh gpadmin@mdw ssh gpadmin@sdw1 ssh gpadmin@sdw2 ssh gpadmin@sdw3
來驗證是否可以成功ssh到對方主機並且是免密ssh的了。