2. 程式人生 > >基於nginx實現上游伺服器動態自動上下線——不需reload

基於nginx實現上游伺服器動態自動上下線——不需reload

阿新 • • 發佈：2021-02-20

網上關於nginx的介紹有很多，這裡講述的是上游服務（如下圖的Java1服務）在沒有“閘道器”的情況下，如何通過nginx做到動態上下線。

 傳統的做法是，手動修改nginx的upstream檔案，將Java1的配置註釋或者標記為down，然後reload nginx生效。當然可以做成指令碼自動化修改，然而對於一個繁忙的nginx來說，貿然reload輕則響應緩慢，重則雪崩丟失流量。

那麼怎樣做到nginx動態載入upstream配置呢？網上大體有3種方案：

  1. 通過Lua指令碼結合nginx，也就是Openresty方案；
  2. 給nginx的每個server額外新增一個埠，每次通過呼叫這個埠修改upstream；
  3. 給nginx新增資料庫，upstream資料放在資料庫中，通過修改資料庫資料實現修改upstream配置。

對於一個正在執行的生產環境nginx來說，第3個方案無疑是成本最低的。下面讓我們具體看一下：

技術方案：nginx1.16+nginx_upstream_check_module+nginx-upsync-module+consul

說明：

  • 這裡的consul就是上面所說的資料庫，它不只是key/value型別的庫，還有一個簡潔的web管理頁面，可以很方便的管理鍵值對資料；
  • nginx_upstream_check_module是阿里開源的針對上游服務的健康檢測模組；
  • nginx-upsync-module是微博開源的可以與consul/etcd結合的模組。

 

下面分別通過consul叢集部署、nginx改造、建立upstream資料3個方面逐一討論實施細節。

一、部署consul叢集

官網：https://www.consul.io/

假設用下面3臺機器組成一個Consul叢集：

192.168.21.11
192.168.21.12
192.168.21.13
192.168.21.14 # 這個IP為代理IP，用於代理上面3臺機器

1. 準備工作

從官網下載consul壓縮包，分別上傳到上面3臺伺服器，這裡的consul版本為1.8.4：

unzip consul_1.8.4_linux_amd64.zip
mv consul /usr/local/bin/
[root@nginx-11 tmp]# consul
Usage: consul [--version] [--help] <command> [<args>]

Available commands are:
    acl            Interact with Consul's ACLs
    agent          Runs a Consul agent
    catalog        Interact with the catalog
    ....
3臺機器分別建立consul資料、日誌、配置檔案目錄： 
mkdir -p /data/consul/{data,log}
mkdir /etc/consul

 

2.生成consul配置檔案

下面以192.168.21.11的配置檔案為例：

[root@nginx-11 tmp]# cat /etc/consul/config.json
{
    "datacenter":"dc1",
    "primary_datacenter":"dc1",
    "bootstrap_expect":3,
    "start_join":[
        "192.168.21.11",
        "192.168.21.12",
        "192.168.21.13"
    ],
    "retry_join":[
        "192.168.21.11",
        "192.168.21.12",
        "192.168.21.13"
    ],
    "advertise_addr": "192.168.21.11",
    "bind_addr": "192.168.21.11",
    "client_addr": "0.0.0.0",
    "server":true,
    "connect":{
        "enabled":true
    },
    "node_name":"192.168.21.11",
    "ui": true,
    "data_dir":"/data/consul/data",
    "enable_script_checks":false,
    "enable_local_script_checks":true,
    "log_file":"/data/consul/log/",
    "log_level":"info",
    "log_rotate_bytes":100000000,
    "log_rotate_duration":"24h",
    "encrypt":"a2zC4ItisuFdpl7IqwoYz3GqwA5W1w2CxjNmyVbuhZ4=",
    "acl":{
        "enabled":true,
        "default_policy":"deny",
        "enable_token_persistence":true,
        "enable_key_list_policy":true,
        "tokens":{
            "master":"6c95012f-d086-4ef3-b6b9-35b60f529bd0"
           }
    }
}

說明：

  • 另外2臺伺服器的配置檔案，分別將上面的advertise_addr、bind_addr、node_name對應值修改為對應IP，其他配置不需要改變；
  • 引數 "bootstrap_expect":3 意為希望部署一個3個節點的叢集，請根據實際情況配置；
  • encrypt與tokens對應的值，3臺機器應保持一致，encrypt值可以通過consul keygen命令生成，token值可以通過uuidgen命令生成，也可以都通過這2個工具生成；
  • 相關引數的理解可以參考：https://juejin.im/post/6844903860717240334

 

3. 建立consul叢集

分別在3臺機器上啟動consul即可： 
consul agent -config-file=/etc/consul/config.json &
通過瀏覽器訪問http://192.168.21.14:8500（或者任意一個IP:Port）即可訪問consul後臺介面，輸入上面master的tokens值可以看到裡面具體內容。

注意：

  • 上面配置檔案中的acl配置，“enable_key_list_policy”配置一定要加上，且值要配成“true”，否則匿名使用者可能訪問不到consul配置內容。

 

4. 為非管理員建立consul訪問許可權

1）建立訪問策略 通過瀏覽器訪問consul，點選ACL -> Access Controls -> Policies -> 右上角Create 建立一個只讀“upstreams”kv策略，名稱為：readonlykv，Rules內容為： 
key_prefix "upstreams/" {
    policy = "list"
}

建立一個可以寫“upstreams”kv策略，名稱為：writekv，Rules內容為：

key_prefix "upstreams/" {
    policy = "write"
}
建立好的2條策略截圖如下： 2）建立訪問token 在匿名使用者token中加入允許訪問只讀“upstreams”kv策略，用於允許nginx模組匿名讀取consul配置： 點選00000002，在Policies中選擇readonlykv即可。   建立可以寫“upstreams”kv的token，用於指令碼帶此token修改consul配置： 通過瀏覽器訪問consul，點選ACL -> Access Controls -> Tokens -> 右上角Create，在Policies中選擇writekv。 修改／建立好的2條token截圖如下： 到此Consul叢集部署完成。     二、nginx改造 1. 升級nginx 下載nginx相關模組：
  • nginx-upsync-module：https://github.com/weibocom/nginx-upsync-module
  • nginx_upstream_check_module：https://github.com/xiaokai-wang/nginx_upstream_check_module

注意：

  • 下載nginx_upstream_check_module模組時請一定到xiaokai-wang的GitHub上下載，千萬不要到阿里的官方GitHub上下載，否則版本不相容編譯不過去；
  • 在對Nginx升級前請先做好資料備份。

1）對nginx_upstream_check_module打patch

cd nginx-1.16.0
patch -p1 < /usr/local/src/nginx-1.16/nginx_upstream_check_module-master/check_1.12.1+.patch

說明：我把下載的2個nginx模組原始碼包放在了/usr/local/src/nginx-1.16/路徑下。

 

2）編譯nginx

./configure --prefix=/usr/local/nginx --add-module=/usr/local/src/nginx-1.16/nginx_upstream_check_module-master --add-module=/usr/local/src/nginx-1.16/nginx-upsync-module-master ...

說明：

  • 我把nginx安裝在/usr/local/下面；
  • 命令後面的省略號是你要安裝的模組，請根據實際情況新增，通過nginx -V可以看到當前安裝了哪些模組，然後加上去即可。

 

3）安裝nginx

make
# 如果是平滑升級，該步不要執行 
make install

 

4）升級nginx

#再次備份nginx二進位制檔案
mv /usr/local/nginx/sbin/nginx /usr/local/nginx/sbin/nginx16.old
#用新nginx二進位制檔案替換老的
cp objs/nginx /usr/local/nginx/sbin/
#檢視已安裝的nginx模組
/usr/local/nginx/sbin/nginx -V

 提醒：經過測試發現nginx1.6通過reload或者傳送kill -USR2命令，老的nginx程序並不會退出，需要重啟nginx才可以生效，不知道是不是Bug。

/usr/local/nginx/sbin/nginx -s stop
#如果老的nginx程序仍未推出，使用kill -9強制殺掉
ps -ef |grep nginx
#開啟nginx
/usr/local/nginx/sbin/nginx 
# 說明：傳送kill -USR2命令
kill -USR2 `cat /usr/local/nginx/logs/nginx.pid`

到此，nginx升級完成。

  

2. 配置nginx

1）首先配置nginx展示頁面，用於快速瞭解nginx執行狀態

cat nginx.conf
        server {
                listen  80;
                server_name  localhost;

                # 在server 80中展示upstream，相當於全域性配置，其他配置檔案不需要配置
　　　　　　　　　 # 瀏覽器訪問http://nginx-ip:80/upstream_show能檢視到nginx upstream的具體配置資訊
                location = /upstream_show {
                        upstream_show;
                }

                # 在server 80中展示check詳情，相當於全域性配置，其他配置檔案不需要配置
　　　　　　　　　 # 瀏覽器訪問http://nginx-ip:80/status能檢視到上游服務的健康狀態，報紅即為有問題，白色即為正常
                location /status {
                        check_status;
                }

                # 在server 80中展示nginx自帶的狀態，相當於全域性配置，其他配置檔案不需要配置
　　　　　　　　　 # nginx原生自帶功能
                location /NginxStatus {
                        stub_status on;
                        access_log off;
                        allow 192.168.0.0/16;
                        deny all;
                }
        }
　　　　　# 引入具體server配置，每個server需要配置nginx-upsync-module模組的配置
        include /usr/local/nginx/conf/vhosts/*.conf;

 

2）server配置

  • http方式檢測
upstream rs1 {
    server 127.0.0.1:11111;
    upsync 192.168.21.14:8500/v1/kv/upstreams/rs1/ upsync_timeout=6m upsync_interval=500ms upsync_type=consul strong_dependency=off;
    upsync_dump_path /usr/local/nginx/conf/servers/servers_rs1.conf;

    check interval=1000 rise=2 fall=2 timeout=3000 type=http default_down=false;
    check_http_send "HEAD /health.htm HTTP/1.0\r\n\r\n";
    check_http_expect_alive http_2xx http_3xx;
}

server {
        listen  80;
...

 

  • tcp方式檢測（tcp為預設檢測方式）
upstream rs2 {
    server 127.0.0.1:11111;
    upsync 192.168.21.14:8500/v1/kv/upstreams/rs2/ upsync_timeout=6m upsync_interval=500ms upsync_type=consul strong_dependency=off;
    upsync_dump_path /usr/local/nginx/conf/servers/servers_rs2.conf;

    check interval=1000 rise=2 fall=2 timeout=3000 type=tcp default_down=false;
}

server {
        listen 80;
...

 

說明：

  • 推薦使用http方式檢測，http比tcp方式更準確，該檢測方式為nginx_upstream_check_module提供，功能強大，引數簡單解釋：每隔1秒進行1次健康檢查，每次超時時間為3秒，連續2次健康檢查成功則認為這個上游服務健康，將會被上線或一直保持線上；連續2次健康檢查失敗則認為這個上游服務不健康，將會被剔除下線。“/health.htm”是上游服務的健康檢查介面，通過它判斷服務是否健康。具體引數解釋可參考：http://tengine.taobao.org/document_cn/http_upstream_check_cn.html
  • 引數簡單解釋：nginx-upsync-module模組會每隔0.5秒向consul資料庫檢查一次配置，每次超時時間為6分鐘。具體引數解釋可參考：https://github.com/weibocom/nginx-upsync-module
  • nginx會在/usr/local/nginx/conf目錄下面建立servers子目錄，該子目錄下會自動建立相關server配置檔案。

 

到此，nginx配置修改完成。

 

 

三、建立upstream資料（consul鍵值對）

可以通過web頁面或者指令碼建立upstream資料，方法如下：

1. web頁面操作

如果需要建立目錄，在要建立的欄位後面加上"/"即可，如：upstreams/ 。

"Key/Value"中必須先建立"upstreams"目錄（後面有字母s），然後再建立對應的server名稱，截圖如下：

2. 命令列操作

使用命令列時不需要先建立"upstreams/"目錄，命令會自動建立目錄以及server資料。

下面以上游服務Java1（IP為192.168.20.100，埠號為8080，upstream分組名稱為rs1）為例：

新增記錄

curl -X PUT http://192.168.21.14:8500/v1/kv/upstreams/rs1/192.168.20.100:8080?token=$token

上述命令執行後，會形成一條nginx的upstream預設配置資訊，即：

server 192.168.20.100:8080 weight=1 max_fails=2 fail_timeout=10s;

可以通過下面命令自定義權重等值：

curl -X PUT -d "{\"weight\":100, \"max_fails\":2, \"fail_timeout\":10}" http://192.168.21.14:8500/v1/kv/upstreams/rs1/192.168.20.100:8080?token=$token
# 或者 
curl -X PUT -d '{"weight":100, "max_fails":2, "fail_timeout":10}' http://192.168.21.14:8500/v1/kv/upstreams/rs1/192.168.20.100:8080?token=$token

刪除記錄

curl -X DELETE http://192.168.21.14:8500/v1/kv/upstreams/rs1/192.168.20.100:8080?token=$token

更新權重

curl -X PUT -d "{\"weight\":100, \"max_fails\":2, \"fail_timeout\":10}" http://192.168.21.14:8500/v1/kv/upstreams/rs1/192.168.20.100:8080?token=$token
# 或者 
curl -X PUT -d '{"weight":100, "max_fails":2, "fail_timeout":10}' http://192.168.21.14:8500/v1/kv/upstreams/rs1/192.168.20.100:8080?token=$token

下線服務

curl -X PUT -d "{\"weight\":2, \"max_fails\":2, \"fail_timeout\":10, \"down\":1}" http://192.168.21.14:8500/v1/kv/upstreams/rs1/192.168.20.100:8080?token=$token
# 或者
curl -X PUT -d '{"weight":2, "max_fails":2, "fail_timeout":10, "down":1}' http://192.168.21.14:8500/v1/kv/upstreams/rs1/192.168.20.100:8080?token=$token

檢視upstream rs1下面有哪些上游伺服器

curl http://192.168.21.14:8500/v1/kv/upstreams/rs1?recurse

 

推薦使用命令列操作，建議將命令列組裝成指令碼實現DevOps

 

 

四、一點感悟

在改造該動態發現方案期間，遇到了很多問題，最棘手的一個問題是測試環境種nginx一直報錯，upstream資料始終無法完整下載，經過各種排查還是沒有發現問題，中間我懷疑過是consul的問題，換成了etcd還是同樣的報錯，最後通過抓包跟蹤，發現是Linux核心引數配置不當，導致佇列溢位tcp三次握手失敗，影響nginx與consul通訊。

很多方案理論上是沒有問題的，甚至說有人已經成功運用了，但是實際上親自實施的話還是會遇到各種各樣的問題，有些甚至是致命的，這時候就需要耐心的解決。希望大家在看到這篇文章的時候也去動手試試，如果遇到了問題請靜下心來耐心排查。

還有一個是，很多人說運維是不產生價值的，我認為這麼說是不對的，運維需要體現的價值有很多，SRE就是其中的一種。

 

相關推薦

基於nginx實現上游伺服器動態自動上下線——不需reload

網上關於nginx的介紹有很多，這裡講述的是上游服務（如下圖的Java1服務）在沒有“閘道器”的情況下，如何通過nginx做到動態上下線。  傳統的做法是，手動修改nginx的upstream檔案，將Java1的配置註釋或者標記為down，然後reload nginx生效。當然可以做成指令碼自動化

基於nginx實現web伺服器的雙機熱備

  1.適用場景 對於部署重要的服務，會使用兩臺伺服器，互相備份，共同執行同一服務。當一臺伺服器出現故障時，可以由另一臺伺服器承擔服務任務，從而在不需要人工干預的情況下，自動保證系統能持續提供服務。雙機熱備由備用的伺服器解決了在主伺服器故障時服務不中斷的問題。 2.nginx

基於nginx實現緩存功能

nginx實現緩存一、nginx實現緩存功能說明緩存數據分為兩部分（索引，數據）：1、存儲數據的索引，存放在內存中;2、存儲緩存數據，存放在磁盤空間中；Nginx實現緩存是通過代理緩存pxory_cache，這也是ngx_http_proxy_module模塊提供的功能，這裏配置選項較多，常用的選項有：pro

Java實現FTP伺服器檔案的上傳和下載

一、前言： 最近剛好需要實現這個功能：實現ftp的上傳和下載。在網上找了下資料，總結了下。直接上程式碼： 二、程式碼示例： 首先使用到的maven依賴： <dependency>     <groupId>commons-ne

基於netty實現http伺服器

匯入netty4的依賴 <dependency> <groupId>io.netty</groupId> <artifactId>netty-all</artifactId> <version>

基於nginx實現反向代理

準備工作：關閉虛擬機器防火牆，selinux，關閉物理機防火牆，關閉物理機的代理。 第一步：配置上游伺服器（這裡用apache） 1.安裝apache # yum install httpd -y 2.建立一個測試檔案 # cd /var/www/html/

10分鐘內教你用Python實現多個檔案自動上傳到百度雲

一、環境說明 Python 3.7  和 win10系統   二、準備工作 首先我們需要安裝一個包，在cmd命令列介面安裝 bypy包。 pip install bypy 然後安裝成功後，在命令列執行命令 bypy info 會彈出一些類似一下的介

基於Nginx實現10萬+併發，你應該做的Linux核心優化

由於預設的Linux核心引數考慮的是最通用場景，這明顯不符合用於支援高併發訪問的Web伺服器的定義，所以需要修改Linux核心引數，是的Nginx可以擁有更高的效能； 在優化核心時，可以做的事情很多，不過，我們通常會根據業務特點來進行調整，當Nginx作為靜態web內容

windows下搭建基於nginx的rtmp伺服器

Windows機器配置:Windows7旗艦版 64位Intel(R) Core(TM)i5-2520 CPU @2.50GHz 2.50 GHz記憶體: 4GB​1. 下載 nginx 1.7.11.3 Gryphon下載連結: http://nginx-win.ecsd

基於Oozie實現MapReduce作業的自動提交功能

Oozie是一個Hadoop工作流管理系統。OozieClient RestFul API官方參考如下。它提供了JAVA API 和 RESTFul API 兩種形式使用Oozie客戶端可以向Oozie服務端提交workflow。 workflow即工作流，在Oozie中使

FFmpeg總結（十三）用ffmpeg基於nginx實現直播功能，不用第三方SDK，自研推流拉流

直播app實現流程 1.採集 2.濾鏡處理 3.編碼 4.推流 5.CDN分發 6.拉流 7.解碼 8.播放 9.聊天互動 影象格式： public static final int DEPTH16 = 11444022

nginx實現多伺服器共用一個80埠

一、下載nginx。 我使用的版本是1.7.2 二、部署專案 下面我有兩個專案A和B，分別使用兩個tomcat：tomcatA和tomcatB，分別把專案A部署到tomcatA和專案B部署到tomcatB裡面去。 1. 找到tomcatA下的conf資料夾，找到server.xml檔案。修改埠號

在windows平臺搭建基於nginx的直播伺服器

1、nginx簡介    Nginx本身是一個非常出色的HTTP伺服器,FFMPEG是非常好的音視訊解決方案.這兩個東西通過一個nginx的模組nginx-rtmp-module,組合在一起即可以搭建

nginx實現叢集伺服器的負載均衡

nginx 是一個很強大的高效能Web和反向代理伺服器。這裡主要使用的就是nginx的反向代理功能。 反向代理（Reverse Proxy）方式是指以代理伺服器來接受internet上的連線請求，然後將請求轉發給內部網路上的伺服器，並將從伺服器上得到

基於JS實現表單的自動驗證功能

注：本文程式碼是在Github上找到的原始碼，在此基礎上進行了修改。 表單驗證的功能是通過JS程式碼實現的，在作者的驗證JS程式碼中有已經設定好的資料格式，使用的是正則表示式，如果你想要設定自己的資料格式，可以在js檔案最後找到datatype進行修改。作者的後端程式碼使用

基於nginx搭建RTMP伺服器

安裝nginx 下載ngnix原始碼 git clone https://github.com/nginx/nginx.gi

循序漸進VUE+Element 前端應用開發(23）--- 基於ABP實現前後端的附件上傳，圖片或者附件展示管理

在我們一般系統中，往往都會涉及到附件的處理，有時候附件是圖片檔案，有時候是Excel、Word等檔案，一般也就是可以分為圖片附件和其他附件了，圖片附件可以進行裁剪管理、多個圖片上傳管理，及圖片預覽操作，如果是其他附件，則只需上傳和下載處理即可。本篇隨筆基於ABP後端的介面整合，實現前後端的附件上傳管理。 1、

技本功丨web伺服器日誌自動解析工具不是唯一的工具，但卻承包了我最深沉的愛！

曾經有個web伺服器日誌自動解析工具擺在我面前，我沒有珍惜。等我失去的時候我才追悔莫及，人世間最痛苦的事莫過於此。 事情就是這樣發生的—— 當前web伺服器的多樣化使得訪問日誌的資料清洗變得越來越複雜，企業需要投入專業的資料清洗人員編寫資料清洗規則（解析規則或者解析正則），或者需要關心

vue+axios 開發環境與生產環境配置請求介面，本地開發和線上開發有多個請求地址怎麼處理？上線後自動獲取ip,不需改請求地址可運用多個專案中

1. 配置本地開發環境介面： 進入到專案目錄config檔案中index.js ；當頁面有多個不同地址時此可以重定向，下圖中會出現報錯的就是路徑問題， 建立所有httpUrl介面請求。舉例後臺請求地址為：192.168.11.12:80/omc/login  ,第一個

基於Consul+Registrator+Nginx實現容器服務自動發現的集群框架

docker consul 服務發現 docker+consul 甘兵 我們先來看一下服務發現常用的框架有哪些： zookeeper eureka etcd consul 這裏就不挨個來介紹它們了，本文中主要以consul為主，如果你在大量接觸或使用微服務的話，你可能會碰到一個問題？