【Nginx】實現負載均衡、限流、快取、黑白名單和灰度釋出,這是最全的一篇了!
阿新 • • 發佈:2020-07-12
## 寫在前面
> 在《[【高併發】面試官問我如何使用Nginx實現限流,我如此回答輕鬆拿到了Offer!](https://mp.weixin.qq.com/s?__biz=Mzg3MzE1NTIzNA==&mid=2247485388&idx=1&sn=0854d3f9b4527fd84af970261ec6e2e7&chksm=cee51801f992911732661cce665c967777e11d6ff53c82dbf2600382f37733a0982f60c47ea8&token=515857896&lang=zh_CN#rd)》一文中,我們主要介紹瞭如何使用Nginx進行限流,以避免系統被大流量壓垮。除此之外,Nginx還有很多強大的功能,例如:負載均衡、快取、黑白名單、灰度釋出等。今天,我們就來一起探討Nginx支援的這些強大的功能!
## Nginx安裝
**注意:這裡以CentOS 6.8伺服器為例,以root使用者身份來安裝Nginx。**
### 1.安裝依賴環境
```bash
yum -y install wget gcc-c++ ncurses ncurses-devel cmake make perl bison openssl openssl-devel gcc* libxml2 libxml2-devel curl-devel libjpeg* libpng* freetype* autoconf automake zlib* fiex* libxml* libmcrypt* libtool-ltdl-devel* libaio libaio-devel bzr libtool
```
### 2.安裝openssl
```bash
wget https://www.openssl.org/source/openssl-1.0.2s.tar.gz
tar -zxvf openssl-1.0.2s.tar.gz
cd /usr/local/src/openssl-1.0.2s
./config --prefix=/usr/local/openssl-1.0.2s
make
make install
```
### 3.安裝pcre
```bash
wget https://ftp.pcre.org/pub/pcre/pcre-8.43.tar.gz
tar -zxvf pcre-8.43.tar.gz
cd /usr/local/src/pcre-8.43
./configure --prefix=/usr/local/pcre-8.43
make
make install
```
### 4.安裝zlib
```bash
wget https://sourceforge.net/projects/libpng/files/zlib/1.2.11/zlib-1.2.11.tar.gz
tar -zxvf zlib-1.2.11.tar.gz
cd /usr/local/src/zlib-1.2.11
./configure --prefix=/usr/local/zlib-1.2.11
make
make
```
### 5.安裝Nginx
```bash
wget http://nginx.org/download/nginx-1.17.2.tar.gz
tar -zxvf nginx-1.17.2.tar.gz
cd /usr/local/src/nginx-1.17.2
./configure --prefix=/usr/local/nginx-1.17.2 --with-openssl=/usr/local/src/openssl-1.0.2s --with-pcre=/usr/local/src/pcre-8.43 --with-zlib=/usr/local/src/zlib-1.2.11 --with-http_ssl_module
make
make install
```
**這裡需要注意的是:安裝Nginx時,指定的是openssl、pcre和zlib的原始碼解壓目錄,安裝完成後Nginx配置檔案的完整路徑為:/usr/local/nginx-1.17.2/conf/nginx.conf。**
## Nginx負載均衡配置
### 1.負載均衡配置
```bash
http {
……
upstream real_server {
server 192.168.103.100:2001 weight=1; #輪詢伺服器和訪問權重
server 192.168.103.100:2002 weight=2;
}
server {
listen 80;
location / {
proxy_pass http://real_server;
}
}
}
```
### 2.失敗重試配置
```bash
upstream real_server {
server 192.168.103.100:2001 weight=1 max_fails=2 fail_timeout=60s;
server 192.168.103.100:2002 weight=2 max_fails=2 fail_timeout=60s;
}
```
意思是在fail_timeout時間內失敗了max_fails次請求後,則認為該上游伺服器不可用,然後將該服務地址踢除掉。fail_timeout時間後會再次將該伺服器加入存活列表,進行重試。
## Nginx限流配置
### 1.配置引數
limit_req_zone指令設定引數
```bash
limit_req_zone $binary_remote_addr zone=mylimit:10m rate=10r/s;
```
* limit_req_zone定義在http塊中,$binary_remote_addr表示儲存客戶端IP地址的二進位制形式。
* Zone定義IP狀態及URL訪問頻率的共享記憶體區域。zone=keyword標識區域的名字,以及冒號後面跟區域大小。16000個IP地址的狀態資訊約1MB,所以示例中區域可以儲存160000個IP地址。
* Rate定義最大請求速率。示例中速率不能超過每秒10個請求。
### 2.設定限流
```bash
location / {
limit_req zone=mylimit burst=20 nodelay;
proxy_pass http://real_server;
}
```
burst排隊大小,nodelay不限制單個請求間的時間。
### 3.不限流白名單
```bash
geo $limit {
default 1;
192.168.2.0/24 0;
}
map $limit $limit_key {
1 $binary_remote_addr;
0 "";
}
limit_req_zone $limit_key zone=mylimit:10m rate=1r/s;
location / {
limit_req zone=mylimit burst=1 nodelay;
proxy_pass http://real_server;
}
```
上述配置中,192.168.2.0/24網段的IP訪問是不限流的,其他限流。
IP後面的數字含義:
- 24表示子網掩碼:255.255.255.0
- 16表示子網掩碼:255.255.0.0
- 8表示子網掩碼:255.0.0.0
## Nginx快取配置
### 1.瀏覽器快取
靜態資源快取用expire
```bash
location ~* .(jpg|jpeg|png|gif|ico|css|js)$ {
expires 2d;
}
```
Response Header中添加了Expires和Cache-Control,
**靜態資源包括(一般快取)**
* 普通不變的影象,如logo,圖示等
* js、css靜態檔案
* 可下載的內容,媒體檔案
**協商快取(add_header ETag/Last-Modified value)**
* HTML檔案
* 經常替換的圖片
* 經常修改的js、css檔案
* 基本不變的API介面
**不需要快取**
* 使用者隱私等敏感資料
* 經常改變的api資料介面
### 2.代理層快取
```bash
//快取路徑,inactive表示快取的時間,到期之後將會把快取清理
proxy_cache_path /data/cache/nginx/ levels=1:2 keys_zone=cache:512m inactive = 1d max_size=8g;
location / {
location ~ \.(htm|html)?$ {
proxy_cache cache;
proxy_cache_key $uri$is_args$args; //以此變數值做HASH,作為KEY
//HTTP響應首部可以看到X-Cache欄位,內容可以有HIT,MISS,EXPIRES等等
add_header X-Cache $upstream_cache_status;
proxy_cache_valid 200 10m;
proxy_cache_valid any 1m;
proxy_pass http://real_server;
proxy_redirect off;
}
location ~ .*\.(gif|jpg|jpeg|bmp|png|ico|txt|js|css)$ {
root /data/webapps/edc;
expires 3d;
add_header Static Nginx-Proxy;
}
}
```
在本地磁碟建立一個檔案目錄,根據設定,將請求的資源以K-V形式快取在此目錄當中,KEY需要自己定義(這裡用的是url的hash值),同時可以根據需要指定某內容的快取時長,比如狀態碼為200快取10分鐘,狀態碼為301,302的快取5分鐘,其他所有內容快取1分鐘等等。
可以通過purger的功能清理快取。
AB測試/個性化需求時應禁用掉瀏覽器快取。
## Nginx黑名單
### 1.一般配置
```bash
location / {
deny 192.168.1.1;
deny 192.168.1.0/24;
allow 10.1.1.0/16;
allow 2001:0db8::/32;
deny all;
}
```
### 2. Lua+Redis動態黑名單(OpenResty)
**安裝執行**
```bash
yum install yum-utils
yum-config-manager --add-repo https://openresty.org/package/centos/openresty.repo
yum install openresty
yum install openresty-resty
檢視
yum --disablerepo="*" --enablerepo="openresty" list available
執行
service openresty start
```
**配置(/usr/local/openresty/nginx/conf/nginx.conf)**
```bash
lua_shared_dict ip_blacklist 1m;
server {
listen 80;
location / {
access_by_lua_file lua/ip_blacklist.lua;
proxy_pass http://real_server;
}
}
```
**lua指令碼(ip_blacklist.lua)**
```bash
local redis_host = "192.168.1.132"
local redis_port = 6379
local redis_pwd = 123456
local redis_db = 2
-- connection timeout for redis in ms.
local redis_connection_timeout = 100
-- a set key for blacklist entries
local redis_key = "ip_blacklist"
-- cache lookups for this many seconds
local cache_ttl = 60
-- end configuration
local ip = ngx.var.remote_addr
local ip_blacklist = ngx.shared.ip_blacklist
local last_update_time = ip_blacklist:get("last_update_time");
-- update ip_blacklist from Redis every cache_ttl seconds:
if last_update_time == nil or last_update_time < ( ngx.now() - cache_ttl ) then
local redis = require "resty.redis";
local red = redis:new();
red:set_timeout(redis_connect_timeout);
local ok, err = red:connect(redis_host, redis_port);
if not ok then
ngx.log(ngx.ERR, "Redis connection error while connect: " .. err);
else
local ok, err = red:auth(redis_pwd)
if not ok then
ngx.log(ngx.ERR, "Redis password error while auth: " .. err);
else
local new_ip_blacklist, err = red:smembers(redis_key);
if err then
ngx.log(ngx.ERR, "Redis read error while retrieving ip_blacklist: " .. err);
else
ngx.log(ngx.ERR, "Get data success:" .. new_ip_blacklist)
-- replace the locally stored ip_blacklist with the updated values:
ip_blacklist:flush_all();
for index, banned_ip in ipairs(new_ip_blacklist) do
ip_blacklist:set(banned_ip, true);
end
-- update time
ip_blacklist:set("last_update_time", ngx.now());
end
end
end
end
if ip_blacklist:get(ip) then
ngx.log(ngx.ERR, "Banned IP detected and refused access: " .. ip);
return ngx.exit(ngx.HTTP_FORBIDDEN);
end
```
## Nginx灰度釋出
### 1.根據Cookie實現灰度釋出
根據Cookie查詢version值,如果該version值為v1轉發到host1,為v2轉發到host2,都不匹配的情況下轉發到預設配置。
```bash
upstream host1 {
server 192.168.2.46:2001 weight=1; #輪詢伺服器和訪問權重
server 192.168.2.46:2002 weight=2;
}
upstream host2 {
server 192.168.1.155:1111 max_fails=1 fail_timeout=60;
}
upstream default {
server 192.168.1.153:1111 max_fails=1 fail_timeout=60;
}
map $COOKIE_version $group {
~*v1$ host1;
~*v2$ host2;
default default;
}
lua_shared_dict ip_blacklist 1m;
server {
listen 80;
#set $group "default";
#if ($http_cookie ~* "version=v1"){
# set $group host1;
#}
#if ($http_cookie ~* "version=v2"){
# set $group host2;
#}
location / {
access_by_lua_file lua/ip_blacklist.lua;
proxy_pass http://$group;
}
}
```
### 2.根據來路IP實現灰度釋出
```bash
server {
……………
set $group default;
if ($remote_addr ~ "192.168.119.1") {
set $group host1;
}
if ($remote_addr ~ "192.168.119.2") {
set $group host2;
}
```
### 3.更細粒度灰度釋出
參考:[https://github.com/sunshinelyz/ABTestingGateway](https://github.com/sunshinelyz/ABTestingGateway)
**好了,咱們今天就聊到這兒吧!別忘了給個在看和轉發,讓更多的人看到,一起學習一起進步!!**
## 寫在最後
> 如果你覺得冰河寫的還不錯,請微信搜尋並關注「 **冰河技術** 」微信公眾號,跟冰河學習高併發、分散式、微服務、大資料、網際網路和雲原生技術,「 **冰河技術** 」微信公眾號更新了大量技術專題,每一篇技術文章乾貨滿滿!不少讀者已經通過閱讀「 **冰河技術** 」微信公眾號文章,吊打面試官,成功跳槽到大廠;也有不少讀者實現了技術上的飛躍,成為公司的技術骨幹!如果你也想像他們一樣提升自己的能力,實現技術能力的飛躍,進大廠,升職加薪,那就關注「 **冰河技術** 」微信公眾號吧,每天更新超硬核技術乾貨,讓你對如何提升技術能力不再迷茫!
![](https://img-blog.csdnimg.cn/20200709131720