1. 程式人生 > >實戰經驗:25種Nginx優化手段

實戰經驗:25種Nginx優化手段

企業 alt smt completed 都是 table 速度 file-max print

系統環境:Centos6

理論:
1.關於NGINX
Nginx是一個高性能且輕量級的HTTP和反向代理服務器,也是一個IMAP/POP3/SMTP服務器。因它的穩定性、豐富的功能集、示例配置文件和低系統資源的消耗而聞名。其特點是占有內存少,並發能力強,事實上nginx的並發能力確實在同類型的網頁服務器中表現較好,中國大陸使用NGINX作為門戶的有百度、京東、新浪等等。

2.關於優化
Nginx可以作為正反向代理服務器,也可以作為負載均衡使用,而且是一個輕量級且高性能的服務器,所以肯定會出現高並發高流量的場景,而且安全問題一直處於被動狀態,各種安全漏洞依然存在,為了減少被×××者影響服務器的正常運行,所以做了以下的優化。

實戰:

1.隱藏版本信息

修改nginx配置文件
在nginx.conf 在http模塊下加入:
server_tokens off;
技術分享圖片

2.防數據庫被盜取實戰

server下配置

    location ~* "\.(sql|bak|zip|tgz|tar.gz)$"{
               return  404;
     }

測試:
技術分享圖片

3.更改nginx服務的默認用戶

第一種方法:

 直接更改配置文件nginx.conf.default參數,將默認的#user nobody;改為user www.www;
技術分享圖片

第二種方法:

  直接在編譯nginx的時候指定用戶和用戶組命令如下:
  ./configure --prefix=/application/nginx-1.6.3 --user=nginx --group=nginx --with-http_ssl_module --with-http_stub_status_module

4.優化nginx進程個數的策略

在高並發、高訪問量的web服務場景,需要事先啟動好更多的nginx進程,以保證快速響應並處理大量並發用戶的請求。
  worker_processes 1;一般調整到與CPU的顆數相同

  (1)查看LInux可查看CPU個數及總核數

grep processor /proc/cpuinfo|wc -l
技術分享圖片

  (2)查看CPU總顆數

grep ‘physical id‘ /proc/cpuinfo |wc -l
技術分享圖片

  (3)通過執行top命令,然後按數字1,即可顯示所有的CPU核數 top命令按1鍵就會顯示第一個的信息

技術分享圖片

5.優化綁定不同的nginx進程在不同的CPU上

默認情況下,nginx的進程跑在某一個CPU或CPU的某一個核上,導致nginx進程使用硬件的資源不均,本節的優化是不同的nginx進程給不同的CPU處理,充分有效的利用有效的硬件資源

  四核cpu配置

worker_processes 4; worker_cpu_affinity 1000 0100 0010 0001;

  雙核配置

worker_processes 2; worker_cpu_affinity 0101 1010;

  還有一個命令taskset 用來分配服務給CPU

技術分享圖片

6.nginx事件處理模型優化

nginx的連接處理機制在於不同的操作系統會采用不同的I/O模型,Linux下,nginx使用epoll的I/O多路復用模型,在freebsd使用kqueue的IO多路復用模型,在solaris使用/dev/pool方式的IO多路復用模型,在windows使用的icop等等。
  要根據系統類型不同選擇不同的事務處理模型,選擇有“use [ kqueue | rtsig |epool |dev/pool |select |pllo ];”我們使用的是Centos6.5的linux,因此將nginx的事件處理模型調整為epool模型。
設置nginx的配置文件
events { worker_connections 51200; use epoll; }
技術分享圖片
官方說明:在不指定事件處理模型時,nginx默認會自動的選擇最佳的事件處理模型服務

7.調整nginx單個進程允許的客戶端最大連接數

參數語法:worker_connections number
默認配置:worker_connections 51200
放置位置:events 標簽  
events { worker_connections 1024; #一個worker進程的並發 }
總並發= worker_processes* worker_connections
如下:
技術分享圖片

8.配置nginx worker進程最大打開文件數

參數語法:worker_rlimit_nofile number
放置位置:主標簽段
說明:作用是改變worker processes能打開的最大文件數
worker_rlimit_nofile 65535;
技術分享圖片
這各參數受系統文件的最大打開數限制,解決方法:
[root@leo conf]# cat /proc/sys/fs/file-max
技術分享圖片
文件系統最大可打開文件數
ulimit參數
技術分享圖片
-n指定最大打開文件數量
查看當前最大打開文件數量:
[root@leo conf]# ulimit -l
技術分享圖片
程序限制只能打開1024個文件
使用# ulimit -n 8192調整一下

9開啟高效文件傳輸模式

設置參數 sendfile on;
sendfile參數用於開啟文件的高效傳輸模式。同時將tcp_nopush和tcp_nodelay兩個指令設置為on,可防止網絡及磁盤i/o阻塞,提升nginx工作效率。
http {   sendfile on; #放在http,server,location都可以 }
設置參數tcp_nopush;
激活tcp_nopush參數可以允許把httpresponse header和文件的開始放在一個文件裏發布,積極的作用是減少網絡報文段的數量(只有sendfile on開啟才生效)
例:
也可以設置以下參數

sendfile on; 
tcp_nopush on; 
tcp_nodelay on; 
server_tokens off; 
server_names_hash_bucket_size 128; 
server_names_hash_max_size 512; 
keepalive_timeout 65; 
client_header_timeout 15s; 
client_body_timeout 15s; 
send_timeout 60s;

技術分享圖片

10.fastcgi相關參數調優

fastcgi參數是配合nginx向後請求PHP動態引擎服務的相關參數。

fastcgi_connect_timeout 300; 
fastcgi_send_timeout 300; 
fastcgi_read_timeout 300; 
fastcgi_buffer_size 64k; 
fastcgi_buffers 4 64k; 
fastcgi_busy_buffers_size 128k; 
fastcgi_temp_file_write_size 256k;

技術分享圖片

11.配置nginx gzip壓縮實現性能優化

提升網站用戶體驗:由於發給用戶的內容小了,所以用戶訪問單位大小的頁面就快了,用戶體驗就提升了
  節約網站帶寬成本:由於數據時壓縮傳輸的,因此,會消耗一些cpu資源
壓縮的對象:
  純文本內容壓縮比很高,因此,純文本的內容最好要壓縮
  被壓縮的純文本文件必須要大於1KB,由於壓縮算法的特殊原因,極小的文件壓縮反而變大
  圖片、視頻(流媒體)等文件盡量不要壓縮,因為這些文件大多都是經過壓縮的,如果再壓縮很可能不會減小或減小很少,或者有可能增大,而在壓縮時還會消耗大量的CPU、內存資源

參數介紹及配置說明:
gzip on;                    #表示開啟壓縮功能
gzip_min_length 1k;                #表示允許壓縮的頁面最小字節數,頁面字節數從header頭的Content-Length中獲取。默認值是0,表示不管頁面多大都進行壓縮,建議設置成大於1K。如果小於1K可能會越壓越大
gzip_buffers 4 16k;                #壓縮緩存區大小
gzip_http_version 1.1;                #壓縮版本
gzip_comp_level 2;                #壓縮比率
gzip_types text/css text/xml application/javascript;  #指定壓縮的類型
gzip_vary on;  #vary header支持
完美配置:
nginx.conf http模塊

gzip on;
gzip_min_length  1k;
gzip_buffers     4 16k;
gzip_http_version 1.1;
gzip_comp_level 2;
gzip_types     text/plain application/javascript application/x-javascript text/javascript text/css application/xml application/xml+rss;
gzip_vary on;
gzip_proxied   expired no-cache no-store private auth;
gzip_disable   "MSIE [1-6]\.";

技術分享圖片

12.nginx expires功能

為用戶訪問網站的內容設定一個過期時間,當用戶第一次訪問到這些內容時,會把這些內容存儲在用戶瀏覽器本地,這樣用戶第二次及之後繼續訪問該網站,瀏覽器就會檢查已經緩存在用戶瀏覽器本地的內容,就不會去瀏覽器下載了,直到緩存的內容過期或者被清除為止。

expires作用和優點:

   expires可以降低網站的帶寬,節約成本,加快用戶訪問網站的速度,提升了用戶訪問體驗,將內存存儲到用戶瀏覽器本地。服務器訪問量降低,服務器壓力就減輕了,服務器的成本也會降低,甚至可以節約人力成本,幾乎對於所有web服務來說,這是非常重要的功能之一。
nginx expires 配置詳解:

location ~ ^/(images|javascript|js|css|flash|media|static)/ {
 expires 360d;
 }

expire缺點及解決辦法:

  當網站被緩存的頁面或數據更新了,此時用戶端看到的可能還是舊的已經緩存的內容,這樣就會影響用戶體驗,那麽如何解決這個問題呢?
  第一:對於經常需要的變動圖片等文件,可以縮短對象緩存時間,例如,百度、谷歌等網站的首頁圖片經常會換成一些節日的圖,這裏可以將緩存期修改為1天
  第二:當網站改版或更新內容時,可以在服務器將緩存的對象改名(網站代碼程序)
  對於網站的圖片、附件,一般不會被用戶直接修改,用戶層面上的修改圖片,實際上是重新傳到服務器,雖然內容一樣但是一個新的圖片名了
  網站改版升級會修改JS、CSS元素,若改版的時候對這些元素改了名,會使得前端的CDN以及用戶端需要重新緩存內容
技術分享圖片

13.nginx日誌優化

不記錄不需要的日誌
 在實際工作中,對於負載均衡器健康檢查節點或某些特定的文件(圖片、JS、CSS)的日誌,一般不需要記錄下來,因為在統計PV時是按照頁面計算的,而且日誌寫入的太頻繁會消耗磁盤i/o,降低服務的性能
具體配制方法: 在server裏配置

location ~ .*.(js|jpg|JPG|jpeg|JPEG|css|bmp|gif|GIF)$ {
access_log off;
}
技術分享圖片

訪問日誌的權限設置
  假如日誌目錄為/app/logs,則授權方法為:
chown -R root.root /app/logs
chmod -R 600 /app/logs
  不需要在日誌目錄上給nginx用戶讀寫或者讀寫許可,很多人都沒有註意這個問題,這就稱為了安全隱患。
技術分享圖片

14.nginx站點目錄及URL訪問控制

根據擴展名限制程序和文件訪問

  web2.0時代,絕大多數網站都是以用戶為中心的,這些產品有一些共同點,就是不允許用戶發布內容到服務器,還允許用戶發圖片甚至附件上傳到服務器上,給用戶開啟了上傳的功能。帶來了很大的安全隱患。
  下面將利用nginx配置禁止訪問上傳資源目錄下的PHP,SHELL,PERL,PYTHON程序文件,這樣就算是用戶上傳了×××文件也沒辦法執行


            location ~ ^/manage/.*\.(php|php5|.sh|.pl|.py)$ {
                            deny all;
            }

            location ~ ^/static/.*\.(php|php5|.sh|.pl|.py)$ {                  deny all;
            }

            location ~* ^/data/(attachment|avatar)/.*\.(php|php5)$ {                deny all;
            }

  對於上述目錄的限制必須寫在nginx處理PHP服務配置的前面
技術分享圖片

禁止訪問指定目錄下的所有文件和目錄
配置禁止訪問指定的單個或多個目錄
在server下進行配置:

        location ~ ^/(static)/ {
                deny all;
        }

        location ~ ^/static {
                deny all;
        }

技術分享圖片

禁止訪問目錄並且返回代碼404
location /manage/ { return 404; }
技術分享圖片

訪問網頁測試
技術分享圖片

限制網站來源的IP訪問(實驗)

使用ngx_http_access_module限制網站來源IP訪問。
範例1:禁止外界訪問,但允許某個IP訪問該目錄
location ~ ^/oldboy/ { allow 公網IP; deny all; }
範例2:限制及指定IP或IP段訪問。
location / { deny 公網IP; allow 10.0.0.0/8; deny all; }
查看自己公網IP
http://www.ip138.com

做實驗配置:
範例1:
技術分享圖片

訪問網頁:
技術分享圖片

範例2:
配置:
技術分享圖片

訪問網頁:
技術分享圖片

配置nginx禁止非法域名解析訪問企業網站

問題:nginx如何防止用戶IP訪問網站(惡意域名解析,相當於直接使用IP訪問網站)
方法1:直接報錯,用戶體驗不好
server { listen 80 default_server; server_name _; return 501; }

方法2:通過301跳轉到主頁
server { listen 80 default_server; server_name _; rewrite ^(.*) http://www.xxx.com/$1 permanent; }

方法一實戰:
配置:這是在站點配置文件上再增加一個server
技術分享圖片

訪問網頁:
技術分享圖片

方法二實戰:
配置:定向到站點首頁
技術分享圖片

訪問網頁:
技術分享圖片

15.nginx圖片防盜鏈解決方案

簡單的說,沒有經過你的允許在自己網站嵌入你的圖片。
常見的防盜鏈解決方案的基本原理
根據HTTP referer實現防盜鏈
根據cookie防盜鏈
防盜鏈實戰
被盜鏈的網站配置

location ~* ^.+\.(jpg|png|swf|flv|rar|zip)$ {
valid_referers none blocked *.leoops.vip ;
if ($invalid_referer) {
rewrite ^/ http://azt.leoops.vip/img/attack.png;
}
root html/www;
}

當出現被盜連的時候,會自動跳轉到一下頁面
技術分享圖片

16.nginx錯誤頁面的優雅顯示

範例:當出現404錯誤會跳轉到404.html頁面
error_page 404 404/404.html;
技術分享圖片

17.部署網站程序權限設置

(1)網站的站點目錄權限設置
方案1:推薦方案
目錄:755
文件:644
所有者:root
圖片及上傳目錄設置所有者為www

18.nginx防爬蟲優化

文件配置
set $block_user_agent 0;
if ( $http_user_agent ~ "Wget|AgentBench|BBBIKE"){
set $block_user_agent 1;
}
if ($block_user_agent = 1) {
return 404 ; rewrite ^(.*) http://azt.leoops.vip/$1 permanent;
}

檢查收錄和蜘蛛:
https://tools.aizhan.com/rb/
技術分享圖片

19.利用nginx限制HTTP的請求方法

配置:

if ($request_method !~ ^(GET|HEAD|POST)$ ) { return 501; }

配置上傳服務器限制HTTP的GET的配置

if ($request_method ~*(GET)$ ) { return 501; }

20.使用CDN做網站內容加速

cdn特點:
  本地Cache加速 提高了企業站點(尤其含有大量圖片和靜態頁面站點)的訪問速度,並大大提高以上性質站點的穩定性
  鏡像服務 消除了不同運營商之間互聯的瓶頸造成的影響,實現了跨運營商的網絡加速,保證不同網絡中的用戶都能得到良好的訪問質量。
  遠程加速 遠程訪問用戶根據DNS負載均衡技術智能自動選擇Cache服務器,選擇最快的Cache服務器,加快遠程訪問的速度
  帶寬優化 自動生成服務器的遠程Mirror(鏡像)cache服務器,遠程用戶訪問時從cache服務器上讀取數據,減少遠程訪問的帶寬、分擔網絡流量、減輕原站點WEB服務器負載等功能。
  集群抗××× 廣泛分布的CDN節點加上節點之間的智能冗余機制,可以有效地預防×××***以及降低各種D.D.o.S×××對網站的影響,同時保證較好的服務質量 。

21.防止網站惡意×××

在http下配置
###用戶的 IP 地址 $binary_remote_addr 作為 Key,每個 IP 地址最多有 50 個並發連接
limit_conn_zone $binary_remote_addr zone=TotalConnLimitZone:10m ;
limit_conn TotalConnLimitZone 50;
limit_conn_log_level notice;

網站性能測試:
測試地址:https://loadimpact.com
技術分享圖片

並發連接測試

[root@leo server]# ab -c 500 -t 30 http://azt.leoops.vip/
This is ApacheBench, Version 2.3 <$Revision: 655654 $>
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Licensed to The Apache Software Foundation, http://www.apache.org/

Benchmarking azt.leoops.vip (be patient)
Completed 5000 requests
Completed 10000 requests
Completed 15000 requests
Finished 15897 requests

Server Software:        nginx
Server Hostname:        azt.leoops.vip
Server Port:            80

Document Path:          /
Document Length:        6478 bytes

Concurrency Level:      500
Time taken for tests:   33.823 seconds
Complete requests:      15897
Failed requests:        15697
   (Connect: 0, Receive: 0, Length: 15697, Exceptions: 0)
Write errors:           0
Non-2xx responses:      15697
Total transferred:      7209787 bytes
HTML transferred:       4529182 bytes
Requests per second:    470.00 [#/sec] (mean)
Time per request:       1063.820 [ms] (mean)
Time per request:       2.128 [ms] (mean, across all concurrent requests)
Transfer rate:          208.17 [Kbytes/sec] received

Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:        0   48  97.4     41    1055
Processing:     1   67 121.6     50    1487
Waiting:        1   59 121.2     45    1486
Total:         21  115 158.8     89    1707

Percentage of the requests served within a certain time (ms)
  50%     89
  66%     97
  75%    104
  80%    111
  90%    119
  95%    128
  98%    761
  99%   1120
100%   1707 (longest request)
[root@leo server]#

22.控制nginx並發連接數量

ngx_http_limit_conn_module這個模塊用於限制每個定義key值得連接數,特別是單個TP的連接數。
  不是所有的連接數都會被計算。一個符合計數要求的連接是整個請求頭已經被讀取的連接。
  控制Nginx並發連接數量參數的說明
  1)limit_conn_zone參數:
    語法:limit_conn_zone key zone=name:size;
    上下文:http
    用於設置共享內存區域,key可以是字符串、Nginx自帶變量或前兩個組合。name為內存區域的名稱,size為內存區域的大小。
  2)limit_conn參數
    語法:limit_conn zone number;
    上下文:http、server、location
    用於指定key設置最大連接數。當超時最大連接數時,服務器會返回503報錯。
例:
技術分享圖片

23.控制客戶端請求nginx的速率

ngx_http_limit_req_module模塊用於限制每個IP訪問每個定義key的請求速率。
  limit_req_zone參數說明如下。
    語法:limit_req_zone key zone=name:size rate=rate;
    上下文:http
    用於設置共享內存區域,key可以是字符串,Nginx自帶變量或前兩個組合。name為內存區域的名稱,size為內存區域的大小,rate為速率,單位為r/s,每秒一個請求。
  limit_req參數說明如下:
    語法:limit_req zone=name [burst-number] [nobelay]
    上下文:http、server、location
    這裏運用了令牌桶原理,burst=num,一個有num快令牌,令牌發完後,多出來的那些請求就會返回503。
  nodelay默認在不超過burst值得前提下會排隊等待處理,如果使用此參數,就會處理完num+1次請求,剩余的請求為超時,返回503。

24.nginx防CC×××

http配置:
技術分享圖片

每個×××都會產生日誌
技術分享圖片

25.設置防CC×××腳本

腳本配置,自動防禦

[root@leo work]# vim cc.sh      #編輯主動防禦腳本
#!/bin/sh
status=`netstat -na|awk ‘$5 ~ /[0-9]+:[0-9]+/ {print $5}‘ |awk -F ":" -- ‘{print $1}‘ |sort -n|uniq -c |sort -n|tail -n 1`
NUM=`echo $status|awk ‘{print $1}‘`
IP=`echo $status|awk ‘{print $2}‘`
result=`echo "$NUM > 150" | bc`
if [ $result = 1 ]
then
echo IP:$IP is over $NUM, BAN IT!
/sbin/iptables -I INPUT -s $IP -j DROP
fi

[root@leo work]# crontab -e           #創建自動啟動檢測
* * * * * /server/work/cc.sh

實戰經驗:25種Nginx優化手段