1. 程式人生 > >ubuntu 18.04下greenplum安裝筆記(一)Linux下基礎環境的搭建

ubuntu 18.04下greenplum安裝筆記(一)Linux下基礎環境的搭建

背景

需要構建一個用於資料倉庫的分散式資料庫叢集。 每一個節點暫時不需要進行備份,同時也不考慮壞掉的情況。 每一個數據節點最好都不用進行過多的配置,安裝起來方便。 Greenplum的Shared-Nothing的設計思路很適合我目前的業務場景。

物理環境

4檯安裝了Linux的主機,安裝的作業系統的版本均為Lubuntu 18.04。 其中,我給他們取號了名字:

  • xiaoyao (逍遙)
    • 身份:MyCat節點
    • IP地址:192.168.0.200
  • linger (靈兒)
    • 身份:資料節點1
    • IP地址:192.168.0.201
  • yueru (月如)
    • 身份:資料節點2
    • IP地址:192.168.0.202
  • anu (阿奴)
    • 身份:資料節點3
    • IP地址:192.168.0.203

其中,機器對應的Master和Segment如下分配: “逍遙”作為Master節點,其他三個節點作為Segment節點,每個機器上配置兩個Primary Segment和兩個Mirror Segment;同時“阿奴”作為Master Standy節點。

好了。下載來開始安裝。

配置網路

首先為每一臺lubutu安裝所缺的依賴:

sudo apt-get install net-tools vim -y

配置ip地址 進入系統後,點選右下角的網路按鈕,再點選“編輯連線...”,會彈出一個網路連線視窗,選擇你目前的連線(以xiaoyao為例,我在xiaoyao上面使用的網路連線顯示為“有線連線1”)並雙擊進入,選擇彈出視窗上方的“IPv4設定”,然後將“方法(M):”對應的“自動(DHCP)”改為“手動”,並在下方一條靜態ip資訊(即:點選中間右側的“新增(A)”),資訊如下:

  • 地址:192.168.0.200
  • 子網掩碼:255.255.255.0 (或者24)
  • 閘道器:192.168.0.1

並配置DNS伺服器地址為:8.8.8.8

點選右下角儲存。重新啟動(或者執行命令列指令sudo service network-manager restart),在命令列輸入ifconfig,可以看到ip地址已經變為了192.168.0.200。

其他:按照這種方式在linger,yueru,anu上分別配置ip地址192.168.0.201~203。

建立專有使用者 為了方便起見,我們為每一臺電腦建立一個名為gpadmin的使用者,和其對應的名為gpadmin的使用者組。 首先,如果電腦上之前存在gpadmin或者gpadmin使用者組的話,我們應該先把他們清掉:

sudo groupdel gpadmin
sudo userdel gpadmin

然後重新建一個:

sudo groupadd -g 530 gpadmin
sudo useradd -g 530 -u 530 -m -d /home/gpadmin -s /bin/bash gpadmin

對資料夾進行賦權,為新使用者建立密碼:

sudo chown -R gpadmin:gpadmin /home/gpadmin/
sudo passwd gpadmin

其他:為其他三臺電腦也建立一個使用者gpadmin:gpadmin。

配置地址別名 可以通過sudo vim /etc/hosts來進行編輯,然後在檔案末尾新增如下資訊:

# hosts for greenplum
192.168.0.200 dw-greenplum-1 mdw
192.168.2.201 dw-greenplum-2 sdw1
192.168.0.202 dw-greenplum-3 sdw2
192.168.0.203 dw-greenplum-4 sdw3

其他:在其他三臺電腦上追加 . 0同樣的內容。

安裝ssh伺服器 ubuntu預設並沒有安裝和開啟ssh伺服器,因此,我們需要:

  1. 確定安裝sshd sudo apt-get install openssh-server
  2. 檢查防火牆設定,關閉防火牆 sudo nfw disable
  3. 檢驗是否成功,執行下面的命令 ssh localhost

有的時候雖然成功了,但還是會出現connection refused的問題,這是,需要檢視一下sshd程序是否啟動。 執行下面的指令檢視是否有sshd程序: ps -e | grep ssh 有時雖然可以看到sshd,但是還是不能連線成功,這是需要重啟一下ssh: sudo service ssh restart 然後再次連線。

其他:對其他三臺電腦也同樣方法安裝ssh伺服器。

配置ssh直接訪問 進行操作之前需要切換使用者為gpadmin:gpadmin,畢竟我們接下來的操作是要在gpadmin的許可權下進行的:

su gpadmin

在xiaoyao上執行如下命令來生成唯一金鑰(之後將會scp到另外三臺電腦上):

ssh-keygen
cp ~/.ssh/id_isa.pub ~/.ssh/authorized_keys
chomd 600 ~/.ssh/authorized_keys
chmod 700 ~/.ssh/

在其他三臺電腦上通過命令:

scp -r [email protected]:~/.ssh ~/.ssh

然後ssh配置檔案拷貝到本地。

接下來,便可以通過在任意一臺電腦上以gpadmin的身份執行:

來驗證是否可以成功ssh到對方主機並且是免密ssh的了。