1. 程式人生 > >雲計算之路-阿裏雲上-容器服務:移除節點引發博問站點短暫故障

雲計算之路-阿裏雲上-容器服務:移除節點引發博問站點短暫故障

div 網絡 src assign 服務 技術分享 border let delet

昨天 18:00 之後我們將自建 docker swarm 集群上的所有應用都切換到了阿裏雲 swarm 容器服務(非 swarm mode ,不支持 overlay 網絡)的集群上。

今天晚上我們通過阿裏雲容器服務控制臺將1個節點移出集群(當時集群中一共有9個節點)

技術分享圖片

沒想到這樣一個常規操作竟然造成了博問站點故障

技術分享圖片

故障時間 20:53-20:55 左右,由此給您帶來麻煩,請您諒解。

發現故障時,我們通過阿裏雲容器服務控制臺“重新部署”博問應用後恢復正常。

技術分享圖片

故障相關日誌如下:

2018-3-22 20:53:28
伸縮服務q_web失敗:Conflict: The name q_web_1 is already assigned. You have to delete (or rename) that container to be able to assign q_web_1 to a container again.
2018-3-22 20:53:28
伸縮服務q_web失敗:Conflict: The name q_web_2 is already assigned. You have to delete (or rename) that container to be able to assign q_web_2 to a container again.

另外,我們又發現重啟集群中的1個節點也會造跑在這個節點上的所有應用故障,而不像我們自建 docker swarm 集群那樣會自動將容器遷移到其他節點。而且,節點重啟後應用不能自動恢復,需要手工一個一個“重新部署”應用。

雲計算之路-阿裏雲上-容器服務:移除節點引發博問站點短暫故障