2. 程式人生 > >Nacos高可用叢集解決方案-Docker版本

Nacos高可用叢集解決方案-Docker版本

阿新 • • 發佈：2019-09-03

文章主旨

本文目的是配置高可用的Nacos叢集

架構圖

整體架構為：Nginx + 3 x Nacos +高可用MySQL

高可用MySQL使用主從複製結構的可以參考Docker搭建MySQL主從叢集，基於GTID

文中對應的配置檔案已經上傳Github，地址：https://github.com/hellxz/nacos-cluster-docker

測試環境

伺服器OS 主機IP Docker版本
Ubuntu Server 18.04 LTS 192.168.87.133 18.09.6
Ubuntu Server 18.04 LTS 192.168.87.139 18.09.7
Ubuntu Desktop 18.04 LTS 192.168.87.135 18.09.7

為了實現Nacos的高可用，至少需要三臺負載較小的伺服器，可以與其它服務共存

注意事項

  1. 這裡演示高可用MySQL地址為：10.2.7.29:3340，10.2.7.29:3341，請自行替換
  2. 這裡的10.2.7.29是區域網，192.168.*是虛擬機器網路，通過虛擬機器是可以訪問區域網的
  3. Nacos初始化SQL這塊使用官方的即可，配置檔案中不提供，預設認為高可用MySQL已經執行了初始化nacos.sql，這個SQL請移步nacos.sql Github

配置檔案目錄結構與說明

目錄說明

  • init.d/custom.properties - 官方提供的自選功能配置檔案，Nacos節點均包含此目錄
  • nacos-1/docker-compose-nacos1.yml - 第一個Nacos節點的Docker-compose配置檔案
  • nacos-2/docker-compose-nacos1.yml - 第二個Nacos節點的Docker-compose配置檔案
  • nacos-3/docker-compose-nacos1.yml - 第三個Nacos節點的Docker-compose配置檔案

除些之外，在每個nacos-*目錄下邊，使用docker-compose命令啟動容器後，會創建出cluster-logs

目錄,

我認為最常用的應該是nacos.log

配置檔案內容

133伺服器的docker-compose-nacos1.yml

version: '3' 
services:
  # nacos-server服務註冊與發現，配置中心服務    
  docker-nacos-server:
    image: nacos/nacos-server:1.0.1
    container_name: nacos-server-1
    ports:
      - "8848:8848"
      - "9555:9555"
    networks: 
      - nacos_net
    restart: on-failure
    privileged: true
    environment:
      PREFER_HOST_MODE: ip #如果支援主機名可以使用hostname,否則使用ip，預設也是ip
      SPRING_DATASOURCE_PLATFORM: mysql #資料來源平臺 僅支援mysql或不儲存empty
      NACOS_SERVER_IP: 192.168.87.133 #多網絡卡情況下，指定ip或網絡卡
      NACOS_SERVERS: 192.168.87.133:8848 192.168.87.139:8848 192.168.87.135:8848 #叢集中其它節點[ip1:port ip2:port ip3:port]
      MYSQL_MASTER_SERVICE_HOST: 10.2.7.29 #mysql配置，Master為主節點，Slave為從節點
      MYSQL_MASTER_SERVICE_PORT: 3340
      MYSQL_MASTER_SERVICE_DB_NAME: nacos
      MYSQL_MASTER_SERVICE_USER: root
      MYSQL_MASTER_SERVICE_PASSWORD: password
      MYSQL_SLAVE_SERVICE_HOST: 10.2.7.29
      MYSQL_SLAVE_SERVICE_PORT: 3341
      #JVM調優引數
      #JVM_XMS:  #-Xms default :2g
      #JVM_XMX:  #-Xmx default :2g
      #JVM_XMN:  #-Xmn default :1g
      #JVM_MS:   #-XX:MetaspaceSize default :128m
      #JVM_MMS:  #-XX:MaxMetaspaceSize default :320m
      #NACOS_DEBUG: n #是否開啟遠端debug，y/n，預設n
      #TOMCAT_ACCESSLOG_ENABLED: true #是否開始tomcat訪問日誌的記錄，預設false
    volumes:
      - ./cluster-logs/nacos1:/home/nacos/logs #日誌輸出目錄
      - ../init.d/custom.properties:/home/nacos/init.d/custom.properties #../init.d/custom.properties內包含很多自定義配置，可按需配置

networks:
  nacos_net:
    driver: bridge

139伺服器的docker-compose-nacos2.yml

version: '3' 
services:
  # nacos-server服務註冊與發現，配置中心服務    
  docker-nacos-server:
    image: nacos/nacos-server:1.0.1
    container_name: nacos-server-2
    ports:
      - "8848:8848"
      - "9555:9555"
    networks: nacos_net
    restart: 
      - on-failure
    privileged: true
    environment:
      PREFER_HOST_MODE: ip #如果支援主機名可以使用hostname,否則使用ip，預設也是ip
      SPRING_DATASOURCE_PLATFORM: mysql #資料來源平臺 僅支援mysql或不儲存empty
      NACOS_SERVER_IP: 192.168.87.139 #多網絡卡情況下，指定ip或網絡卡
      NACOS_SERVERS: 192.168.87.133:8848 192.168.87.139:8848 192.168.87.135:8848 #叢集中其它節點[ip1:port ip2:port ip3:port]
      MYSQL_MASTER_SERVICE_HOST: 10.2.7.29 #mysql配置，Master為主節點，Slave為從節點
      MYSQL_MASTER_SERVICE_PORT: 3340
      MYSQL_MASTER_SERVICE_DB_NAME: nacos
      MYSQL_MASTER_SERVICE_USER: root
      MYSQL_MASTER_SERVICE_PASSWORD: password
      MYSQL_SLAVE_SERVICE_HOST: 10.2.7.29
      MYSQL_SLAVE_SERVICE_PORT: 3341
      #JVM調優引數
      #JVM_XMS:  #-Xms default :2g
      #JVM_XMX:  #-Xmx default :2g
      #JVM_XMN:  #-Xmn default :1g
      #JVM_MS:   #-XX:MetaspaceSize default :128m
      #JVM_MMS:  #-XX:MaxMetaspaceSize default :320m
      #NACOS_DEBUG: n #是否開啟遠端debug，y/n，預設n
      #TOMCAT_ACCESSLOG_ENABLED: true #是否開始tomcat訪問日誌的記錄，預設false
    volumes:
      - ./cluster-logs/nacos2:/home/nacos/logs #日誌輸出目錄
      - ../init.d/custom.properties:/home/nacos/init.d/custom.properties #../init.d/custom.properties內包含很多自定義配置，可按需配置

networks:
  nacos_net:
    driver: bridge

135伺服器的docker-compose-nacos3.yml

version: '3' 
services:
  # nacos-server服務註冊與發現，配置中心服務    
  docker-nacos-server:
    image: nacos/nacos-server:1.0.1
    container_name: nacos-server-3
    ports:
      - "8848:8848"
      - "9555:9555"
    networks: 
      - nacos_net
    restart: on-failure
    privileged: true
    environment:
      PREFER_HOST_MODE: ip #如果支援主機名可以使用hostname,否則使用ip，預設也是ip
      SPRING_DATASOURCE_PLATFORM: mysql #資料來源平臺 僅支援mysql或不儲存empty
      NACOS_SERVER_IP: 192.168.87.135 #多網絡卡情況下，指定ip或網絡卡
      NACOS_SERVERS: 192.168.87.133:8848 192.168.87.139:8848 192.168.87.135:8848 #叢集中其它節點[ip1:port ip2:port ip3:port]
      MYSQL_MASTER_SERVICE_HOST: 10.2.7.29 #mysql配置，Master為主節點，Slave為從節點
      MYSQL_MASTER_SERVICE_PORT: 3340
      MYSQL_MASTER_SERVICE_DB_NAME: nacos
      MYSQL_MASTER_SERVICE_USER: root
      MYSQL_MASTER_SERVICE_PASSWORD: password
      MYSQL_SLAVE_SERVICE_HOST: 10.2.7.29
      MYSQL_SLAVE_SERVICE_PORT: 3341
      #JVM調優引數
      #JVM_XMS:  #-Xms default :2g
      #JVM_XMX:  #-Xmx default :2g
      #JVM_XMN:  #-Xmn default :1g
      #JVM_MS:   #-XX:MetaspaceSize default :128m
      #JVM_MMS:  #-XX:MaxMetaspaceSize default :320m
      #NACOS_DEBUG: n #是否開啟遠端debug，y/n，預設n
      #TOMCAT_ACCESSLOG_ENABLED: true #是否開始tomcat訪問日誌的記錄，預設false
    volumes:
      - ./cluster-logs/nacos3:/home/nacos/logs #日誌輸出目錄
      - ../init.d/custom.properties:/home/nacos/init.d/custom.properties #../init.d/custom.properties內包含很多自定義配置，可按需配置

networks:
  nacos_net:
    driver: bridge

Nacos共用的init.d/custom.properties，與官方保持一致，按需使用

#spring.security.enabled=false
#management.security=false
#security.basic.enabled=false
#nacos.security.ignore.urls=/**
#management.metrics.export.elastic.host=http://localhost:9200
# metrics for prometheus
management.endpoints.web.exposure.include=*

# metrics for elastic search
#management.metrics.export.elastic.enabled=false
#management.metrics.export.elastic.host=http://localhost:9200

# metrics for influx
#management.metrics.export.influx.enabled=false
#management.metrics.export.influx.db=springboot
#management.metrics.export.influx.uri=http://localhost:8086
#management.metrics.export.influx.auto-create-db=true
#management.metrics.export.influx.consistency=one
#management.metrics.export.influx.compressed=true

由於現在把所有的配置檔案放在一起，並且每個Nacos節點都需要一份init.d目錄，這裡就不單獨為每個nacos-*複製了，直接把資料夾整個複製過來就可以了

啟動Nacos叢集

複製配置檔案

複製nacos-cluster-docker目錄到以上三臺主機，上邊的配置檔案已經修改好了

其對應關係為：

  • 192.168.87.133 對應 nacos-1
  • 192.168.87.139 對應 nacos-2
  • 192.168.87.135 對應 nacos-3

啟動容器

分別在各主機上進入各自對應的nacos目錄中，啟動容器，命令如下：

133伺服器

$ cd nacos-cluster-docker/nacos-1
$ docker-compose -f docker-compose-nacos1.yml up -d

139伺服器

$ cd nacos-cluster-docker/nacos-2
$ docker-compose -f docker-compose-nacos2.yml up -d

135伺服器

$ cd nacos-cluster-docker/nacos-3
$ docker-compose -f docker-compose-nacos3.yml up -d

檢視日誌

檢視日誌分別在對應的nacos-*目錄下，執行

tail -f tail -f cluster-logs/nacos*/nacos.log

訪問Nacos UI介面

這裡使用133伺服器頁面進行展示下，

訪問http://192.168.87.133:8848/nacos，進入登入頁面，預設的使用者名稱與密碼都是nacos

我這裡還原的sql是平時測試用的，這裡打下碼，我們的關注點在 叢集管理 > 節點列表 這裡

這裡我們看到Nacos叢集各節點已經正常了，LEADER與FOLLOWER已經選出，一切正常了

配置Nginx

除了Nacos叢集配置外，我們在Spring Boot或Spring Cloud專案中使用的時候，只能指定一個URL指向Nacos服務端，這裡使用Nginx進行代理負載均衡

如果可以的話，生產環境最佳實踐是使用一個域名指向Nginx，之後就算換Nginx主機，客戶端也無需修改配置檔案，只需要使用域名指向一個新的Nginx的IP

列出最主要的配置

http{
    upstream nacos-cluster {
        server 192.168.87.133:8848;
        server 192.168.87.139:8848;
        server 192.168.87.135:8848;
    }
    server {
        listen 8848;
        location /{
            proxy_pass http://nacos-cluster;
        }
    }
}

啟動Nginx，使用程式碼進行測試連線當前的Nginx所在主機IP:8848

這裡已經可以看到服務正常註冊到叢集中了

遇到的問題

客戶端無法註冊到叢集中

如果遇到有客戶端服務無法連線到Nacos叢集中，請著重檢查下Nacos的堆記憶體與虛擬機器的設定，最初我使用的預設的2G最大堆記憶體，虛擬機器也分的2G記憶體，然後啟動服務時還能正常一小會，然後就開始有的服務顯示節點，有的不顯示列表，使用客戶端進行連線也無法正常連線，提示Down Server response 之類 的提示

解決辦法：修改虛擬機器記憶體大小，或修改Nacos堆記憶體配置

本文到此結束，如果對你有幫助，歡迎評論、推薦、關注三連 :happy:

本文系Hellxz學習與實踐文章，禁止布布扣、碼迷、愛碼網等第三方爬蟲網站爬取，轉載請在醒目位置註明出處：https://www.cnblogs.com/hellxz/p/nacos-cluster-docker.h

相關推薦

Nacos高可用叢集解決方案-Docker版本

文章主旨 本文目的是配置高可用的Nacos叢集 架構圖 整體架構為：Nginx + 3 x Nacos +高可用MySQL 高可用MySQL使用主從複製結構的可以參考Docker搭建MySQL主從叢集，基於GTID 文中對應的配置檔案已經上傳Github，地址：https://github.com/hel

Apache shiro叢集實現 （六）分散式集群系統下的高可用session解決方案---Session共享

      Apache Shiro的基本配置和構成這裡就不詳細說明了，其官網有說明文件，這裡僅僅說明叢集的解決方案，詳細配置：shiro web config     Apache Shiro叢集要解決2個問題，一個是session的共享問題，一個是授權

（FortiGate）飛塔防火墻HA(高可用性)解決方案

可用 要求 mes 級別 協議 三方 而且 也會 pan 1. 概述 HA問題是建設TCP/IP網絡需要考慮的一個重要問題。當因為某個設備出現宕機時，如何保證網絡依舊暢通是依賴於關鍵業務的公司的網絡建設的核心。所有流量都要經過安全網關，設計網絡讓安全網關不會成為單點故

【獨家】終生受用的Redis高可用技術解決方案大全

帶寬 技術分享 學習 控制 單個 即使 效應 pan 元數據 最近很多朋友向我咨詢關於高可用的方案的優缺點以及如何選擇合適的方案線上使用，剛好最近在給宜人貸，光大銀行做企業內訓的時候也詳細講過，這裏我再整理發出來，供大家參考，如有不妥之處，歡迎批評指正，也歡迎推薦更好的技術

Redis高可用技術解決方案總結

一、常見使用方式 Redis的幾種常見使用方式包括： Redis單副本； Redis多副本（主從）； Redis Sentinel（哨兵）； Redis Cluster； Redis自研。 二、各種使用方式的優缺點 1、Redis單副本 Redis單副本

寫的很全面的Redis高可用技術解決方案大全

很多朋友向我諮詢關於裡面提到的高可用的方案的優缺點以及如何選擇合適的方案線上使用，這裡再整理髮出來，供大家參考，如有不妥之處，歡迎批評指正，也歡迎推薦更好的技術方案。不廢話了，來看看方案吧～ Redis常見的幾種主要使用方式： Redis 單副本 Redis 多副本（主

JAVA架構師課程(大資料,分散式事物解決方案,大型網際網路專案,大型金融專案,高併發叢集解決方案)實戰開發[技術 activeMQ,zookeeper,http,支付,團購,dubbox,stom]

在IT圈子裡，真正達到軟體架構師能力和水平的，一般的年薪在30-50w，甚至50w+，資深的或者高階的架構師，年薪在50-80萬，水平更高的，薪水也就更多了，可以稱得上是金領了。   因此，一直以來，有很多朋友都在朝軟體架構師這個方向努力發展。但由於沒有人領路，一些朋友

這可能是目前最全的Redis高可用技術解決方案總結

本文主要針對Redis常見的幾種使用方式及其優缺點展開分析。 一、常見使用方式 Redis的幾種常見使用方式包括： Redis單副本； Redis多副本（主從）； Redis Sentinel（哨兵）； Redis Cluster；

這可能是目前最全的Redis高可用技術解決方案

原作者：張東洪 常見的使用方式 Redis的幾種常見的使用方式包括：         Redis 單副本         Redis 多副本（主從）         Redis Sentinel（哨兵）         Redis Cluster      

（一）什麼是高可用性解決方案？

我們對資料庫安全常用的一些方案 凡是我們寫成功的程式大部分都會和資料庫進行互動，我們的資料庫也必須有必要的措施防止資料庫的崩潰。在我們學習高可用性解決方案之前我們都是用的資料庫備份和還原（如果你連這個都沒考慮到，那你寫的程式也太不安全了）。具體的備份的實現也有很多，比如說完

選擇SQL Server 2008高可用性解決方案

下面列舉了選擇高可用性解決方案的注意事項： 故障轉移群集和資料庫映象都提供以下功能： ·自動檢測和故障轉移 ·手動故障轉移 ·透明客戶端重定向 故障轉移群集具有下列限制： ·需要在伺服器例項範圍內進行操作 ·需要簽名的硬體 ·備用部分不具有報告功能 ·利用資料庫的單個副本 ·

Redis5之前版本高可用叢集搭建(偽分散式Ruby版)

一、簡介 Redis5以前安裝需要藉助ruby，Redis5版本以後不需要可參考Redis5.x版本快取搭建高可用叢集 二、Redis高可用叢集搭建 redis安裝 下載地址：http://redis.io/download 安裝步驟： # 把下載好的redis-3.0.0-rc2.tar.gz放在/u

docker~swarm搭建docker高可用叢集

回到目錄 Swarm概念 　　Swarm是Docker公司推出的用來管理docker叢集，它將一群Docker宿主機變成一個單一的，虛擬的主機。Swarm使用標準的Docker API介面作為其前端訪問入口，換言之，各種形式的Docker Client(docker client in Go, docke

Haproxy+Heartbeat 高可用叢集方案操作記錄

  之前詳細介紹了haproxy的基礎知識點, 下面記錄下Haproxy+Heartbeat高可用web叢集方案實現過程, 以加深理解. 架構草圖如下: 1) 基本環境準備 (centos6.9系統) 172.16.60.208(eth0) HA主節點(ha-master)

LVS+Heartbeat 高可用叢集方案操作步驟詳解

已經分別介紹了LVS基礎知識和Heartbeat基礎知識, 今天這裡簡單說下LVS+Heartbeat實現高可用web叢集方案的操作說明. Heartbeat 專案是 Linux-HA 工程的一個組成部分，它實現了一個高可用集群系統。心跳服務和叢集通訊是高可用叢集的兩個關鍵元件，在 Heartbeat 專案

ClickHouse高可用叢集的配置-方案

上一篇文章寫過centos 7下clickhouse rpm包安裝和基本的目錄結構，這裡主要介紹clickhouse高可用叢集的部署方案，因為對於預設的分散式表的配置，每個分片只有一份，這樣如果掛掉一個節點，則查詢分散式表的時候直接會報錯，這個是基於clickhouse自己實

Hadoop高可用叢集出現兩個standby,如何解決

如果出現兩個standby: 1.先在一個節點上先關閉zkfc: 執行 hadoop-daemon.sh stop zkfc 2.檢視狀態,另一個節點會變為active; 3.重新開啟zkfc:執行 hadoop-daemon.sh start zkfc

Oracle的三種高可用叢集方案

Oracle的三種高可用叢集方案 1 RAC（Real Application Clusters）    

kubeadm部署高可用叢集Kubernetes 1.14.1版本

 Kubernetes高可用叢集部署 部署架構： Master 元件： kube-apiserver Kubernetes API，叢集的統一入口，各元件協調者，以HTTP API提供介面服務，所有物件資源的增刪改查和監聽操作都交給APIServer處理後再提交給Etcd儲存。

Docker Compose搭建Redis一主二從三哨兵高可用叢集

一、Docker Compose介紹 https://docs.docker.com/compose/ Docker官方的網站是這樣介紹Docker Compose的： Compose是用於定義和執行多容器Docker應用程式的工具。通過Compose，您可以使用YAML檔案來配置應用程式的服務。然後，使