Mesos: Service Discovery & Load Balancing

這一章主要探討是Mesos關於服務發現與應用的負載均衡的解決方案，主要側重對服務發現與負載均衡進行講解，需要明白的一點，Mesos作為 兩層架構，Marathon作為Mesos的systemd服務，服務發現功能只需要向marathon提供即可，marathon啟動的k8s、 Cloud Foundry都用自身的服務發現功能。

1、Service Discovery with Marathon-Bridge and HAProxy

服務發現的功能實現是為Dcos系統中的服務提供便捷的網路通訊，它的側重點在於對服務進行註冊，更新，查詢等功能，服務發現的實現方法較多， 主要有DNS、集中式服務路由、應用內部實現服務註冊/服務發現等方式，Dcos服務發現功能採用的是Mesos-DNS策略，有關Mesos-DNS的 具體介紹詳見上一篇文章。
通過Mesos-DNS的服務發現策略，可以通過輔助指令碼利用Marathon REST API定時(通過linux crond服務)產生HAProxy 配置檔案，通過diff 生成的hapxoy配置檔案與已有的haproxy，來判斷是否進行reload haproxy操作。

Mesos-slave預設想master提供的埠資源的範圍是31000-32000，當marathon啟動一個task 例項時，所在的mesos-slave會隨意給其繫結一個或多個在其範圍內的埠。需要注意的是應用繫結的實際埠(即mesos-slave分配給它的 埠)和應用在配置時所指定的形式埠(這是以後直接訪問的應用埠)之間的區別，形式埠(即應用埠)是應用執行在marathon的一種名稱空間， 不是直接繫結的，也就是說其他服務也可以繫結這樣一個埠，只是服務不同而已，它間接的被負載均衡器所使用。

服務發現功能，允許marathon上的應用可以通過配置的埠與其他marathon應用進行通訊，這樣做的好處就是，無需知道實際分配的埠是 多少，例如: python的wsgi服務(配置時你指定的是80)需要跟mysql(配置時你指定的327)進行通訊，這樣你可以直接與localhost:327進 行通訊即可。

HAProxy會把請求路由到具體的服務節點上，如果此服務路徑不可達，它將繼續將路由到下一個服務節點。需要注意的是，目前服務發現功能只支援marathon上的應用。

使用 HAProxy

Marathon附帶一個簡單的被叫做 haproxy-marathon-bridge 的shell指令碼以及更高階的Python指令碼 servicerouter.py(這個指令碼在marathon/bin下面)。兩個指令碼都可以將Marathon的REST API列表中正在執行的任務推送到HAproxy的設定檔案中，HAproxy是一個輕量級的TCP/HTTP的代理。haproxy- marathon-bridge提供了一個最小設定功能。 而servicerouter.py支援如SSL解除安裝，sticky連線和虛擬主機的負載均衡的更高階的功能。

負載均衡實現原理就是上述提及的，通過輔助指令碼(這裡是使用haproxy-marathon-bridge)利用Marathon REST API定時(通過linux crond服務)產生HAProxy 配置檔案，通過diff 生成的hapxoy配置檔案與已有的haproxy，來判斷是否進行reload haproxy操作。

下圖描述了在一個叢集分別在兩個節點安裝同一服務，SVC1和SVC2，分配配置的應用埠是1111和2222，可以看到實際分配給它們的是31100和31200。

當slave2節點上的SVC2服務通過localhost:2222連線SVC1服務時，HAProxy將把請求轉發到第一配置項SVC1的slave1節點。

如果slave1節點掛了，下一次對Localhost:2222的請求，將被轉發到slave2上。

haproxy與Marathon的橋接

通過 haproxy-marathon-bridge指令碼從Marathon生成一個HAProxy配置在leader.mesos:8080執行:

$ ./bin/haproxy-marathon-bridge leader.mesos:8080 > /etc/haproxy/haproxy.cfg

重新載入HAProxy配置而不中斷現有的連線：

$ haproxy -f haproxy.cfg -p haproxy.pid -sf $(cat haproxy.pid)

配置指令碼並重新載入可以通過Cron經常觸發來跟蹤拓撲變化。如果一個節點在重新載入時消失， HAProxy的健康檢查將抓住它並停止向這個node傳送traffic 。

為了方便這個設定，haproxy-marathon-bridge 指令碼以另一種方式可以呼叫安裝指令碼本身，HAProxy和定時任務每分鐘ping一次的Marathon服務，如果有任何改變將立刻重新整理HAProxy。

$ ./bin/haproxy-marathon-bridge install_haproxy_system leader.mesos:8080

Marathon需要ping的列表存按行儲存在 /etc/haproxy-marathon-bridge/marathons

指令碼安裝在 /usr/local/bin/haproxy-marathon-bridge

-cronjob安裝在/etc/cron.d/haproxy-marathon-bridge 注意需要用root來執行。

所提供的只是一個基本的示例指令碼。

servicerouter.py

通過servicerouter.py指令碼從Marathon生成一個HAProxy配置在leader.mesos:8080執行:

$ ./bin/servicerouter.py --marathon http://leader.mesos:8080 --haproxy-config /etc/haproxy/haproxy.cfg

如果有任何變化,將會重新整理haproxy.cfg，這樣HAproxy將會重新自動載入。

servicerouter.py有許多額外的功能,像sticky 會話,HTTP到HTTPS的重定向,SSL解除安裝,VHost支援和模板功能。

2、Service Discovery with Bamboo and HAProxy

場景：當你在Mesos叢集上部署的了一系列的微服務，而這些服務能夠以HTTP方式通過訪問特定的URL來對外提供服務或者對內進行通訊。

• Mesos 叢集上通過Marathon框架啟動應用(服務)，Marathon通過健康檢查(healthcheck)跟蹤它們的狀態
• Bamboo通過監聽Marathon event以更新HAProxy配置檔案
• HAProxy ACL規則通過Bamboo進行配置，其能夠根據請求的特徵，如URL規則、hostname、HTTP headers，來匹配應用服務。

Bamboo的處理流程跟上述的方案是異曲同工的。

優點:
1. 允許任意URL與服務進行對應
2. 允許通過HTTP Header與服務進行對應
3. 及時的觸發Marathon event來促使HAProxy進行改變
4. HAProxy heavy lifting
不足：
1. 對於非HTP不適用
2. 內部需要有HAProxy故障切換機制除非能夠實現SmartStack架構的服務
3. 內部非流量都鄒另外的hop(HAProxy)

實現

1、安裝HAProxy和Bamboo

HAProxy

HAProxy的安裝可以使用如下方式：
apt-get install haproxy

Bamboo

Bamboo專案地址,你可以通過構建指令碼來製作deb或者rpm的軟體包,當然也可以通過build container進行構建deb 軟體包

docker build -f Dockerfile-deb -t bamboo-build .
docker run -it -v $(pwd)/output:/output bamboo-build
# package ends up as output/bamboo_1.0.0-1_all.deb

需要注意的是，需要修改/var/bamboo/production.json來修改對應的Marathon、HAProxy、Zookeeper的hostname，然後重啟bamboo，通過retsart bamboo-server。

2、在marathon上部署應用

編輯ghost.json檔案，填入下述配置：

{
  "id": "ghost-0",
  "container": {
    "type": "DOCKER",
    "docker": {
      "image": "ghost",
      "network": "BRIDGE",
      "portMappings": [{ "containerPort": 2368 }]
    }
  },
  "env": {},
  "instances": 1,
  "cpus": 0.5,
  "mem": 256,
  "healthChecks": [{ "path": "/" }]
}

然後使用curl -X POST -H "Content-Type: application/json" http://marathon.mesos:8080/v2/apps [email protected]即可部署該應用，可以看到marathon UI

3、Bamboo配置rules

可以定義rules來告訴HAProxy如何去proxy：

首先，在/etc/hosts新增一行，這樣就可以匹配Host Header：

# ip of HAProxy
192.168.99.100 ghost.local

• 1
• 2

訪問Bamboo UI，通常是http://haproxy:8000, 然後新增對應的name：ghost-0，如下圖：

檢視一下是否新增成功：

參考文件：
1、Service Discovery mesosphere
2、marathon-lb github
3、Service Discovery pi
4、Bamboo-haproxy-marathonbamboo
5、數人科技mesosphere中文文件

作者

中移蘇研：zouyee、曹高晉