ubuntu 18.04下greenplum安裝筆記(一)Linux下基礎環境的搭建
背景
需要構建一個用於資料倉庫的分散式資料庫叢集。 每一個節點暫時不需要進行備份,同時也不考慮壞掉的情況。 每一個數據節點最好都不用進行過多的配置,安裝起來方便。 Greenplum的Shared-Nothing的設計思路很適合我目前的業務場景。
物理環境
4檯安裝了Linux的主機,安裝的作業系統的版本均為Lubuntu 18.04。 其中,我給他們取號了名字:
- xiaoyao (逍遙)
- 身份:MyCat節點
- IP地址:192.168.0.200
- linger (靈兒)
- 身份:資料節點1
- IP地址:192.168.0.201
- yueru (月如)
- 身份:資料節點2
- IP地址:192.168.0.202
- anu (阿奴)
- 身份:資料節點3
- IP地址:192.168.0.203
其中,機器對應的Master和Segment如下分配: “逍遙”作為Master節點,其他三個節點作為Segment節點,每個機器上配置兩個Primary Segment和兩個Mirror Segment;同時“阿奴”作為Master Standy節點。
好了。下載來開始安裝。
配置網路
首先為每一臺lubutu安裝所缺的依賴:
sudo apt-get install net-tools vim -y
配置ip地址 進入系統後,點選右下角的網路按鈕,再點選“編輯連線...”,會彈出一個網路連線視窗,選擇你目前的連線(以xiaoyao為例,我在xiaoyao上面使用的網路連線顯示為“有線連線1”)並雙擊進入,選擇彈出視窗上方的“IPv4設定”,然後將“方法(M):”對應的“自動(DHCP)”改為“手動”,並在下方一條靜態ip資訊(即:點選中間右側的“新增(A)”),資訊如下:
- 地址:192.168.0.200
- 子網掩碼:255.255.255.0 (或者24)
- 閘道器:192.168.0.1
並配置DNS伺服器地址為:8.8.8.8
點選右下角儲存。重新啟動(或者執行命令列指令sudo service network-manager restart
),在命令列輸入ifconfig
,可以看到ip地址已經變為了192.168.0.200。
其他:按照這種方式在linger,yueru,anu上分別配置ip地址192.168.0.201~203。
建立專有使用者
為了方便起見,我們為每一臺電腦建立一個名為gpadmin
的使用者,和其對應的名為gpadmin
的使用者組。
首先,如果電腦上之前存在gpadmin或者gpadmin使用者組的話,我們應該先把他們清掉:
sudo groupdel gpadmin
sudo userdel gpadmin
然後重新建一個:
sudo groupadd -g 530 gpadmin
sudo useradd -g 530 -u 530 -m -d /home/gpadmin -s /bin/bash gpadmin
對資料夾進行賦權,為新使用者建立密碼:
sudo chown -R gpadmin:gpadmin /home/gpadmin/
sudo passwd gpadmin
其他:為其他三臺電腦也建立一個使用者gpadmin:gpadmin。
配置地址別名
可以通過sudo vim /etc/hosts
來進行編輯,然後在檔案末尾新增如下資訊:
# hosts for greenplum
192.168.0.200 dw-greenplum-1 mdw
192.168.2.201 dw-greenplum-2 sdw1
192.168.0.202 dw-greenplum-3 sdw2
192.168.0.203 dw-greenplum-4 sdw3
其他:在其他三臺電腦上追加 . 0同樣的內容。
安裝ssh伺服器 ubuntu預設並沒有安裝和開啟ssh伺服器,因此,我們需要:
- 確定安裝sshd
sudo apt-get install openssh-server
- 檢查防火牆設定,關閉防火牆
sudo nfw disable
- 檢驗是否成功,執行下面的命令
ssh localhost
有的時候雖然成功了,但還是會出現connection refused的問題,這是,需要檢視一下sshd程序是否啟動。
執行下面的指令檢視是否有sshd程序:
ps -e | grep ssh
有時雖然可以看到sshd,但是還是不能連線成功,這是需要重啟一下ssh:
sudo service ssh restart
然後再次連線。
其他:對其他三臺電腦也同樣方法安裝ssh伺服器。
配置ssh直接訪問 進行操作之前需要切換使用者為gpadmin:gpadmin,畢竟我們接下來的操作是要在gpadmin的許可權下進行的:
su gpadmin
在xiaoyao上執行如下命令來生成唯一金鑰(之後將會scp到另外三臺電腦上):
ssh-keygen
cp ~/.ssh/id_isa.pub ~/.ssh/authorized_keys
chomd 600 ~/.ssh/authorized_keys
chmod 700 ~/.ssh/
在其他三臺電腦上通過命令:
scp -r [email protected]:~/.ssh ~/.ssh
然後ssh配置檔案拷貝到本地。
接下來,便可以通過在任意一臺電腦上以gpadmin的身份執行:
ssh [email protected]
,ssh [email protected]
,ssh [email protected]
,ssh [email protected]
來驗證是否可以成功ssh到對方主機並且是免密ssh的了。