1.ProxySQL的線程

ProxySQL由多個模塊組成，是一個多線程的daemon類程序。每個模塊都有一個或多個線程去執行任務。

例如，以下是剛啟動ProxySQL時的進程情況，一個main進程，一個主線程，21個線程。

[root@s1 ~]# pstree | grep proxy    
        |-proxysql---proxysql---21*[{proxysql}]

下面是正常運行時使用的線程列表：

1.1 Main thread

這其實是一個進程，該進程只負責引導、啟動核心模塊以及啟動其它核心線程。

1.2 Admin thread

該線程負責以下幾件事：

• 初始化並引導啟動Admin接口。
  
• 從磁盤數據庫或配置文件中加載配置，為ProxySQL的運行提供環境。
  
• 啟動一個監聽者，讓其負責監聽並接受到Admin接口的新連接，並為每個這樣的連接創建一個新線程。

所以，每連接一次admin接口，就會新生成一個線程。每次退出admin接口時，減去一個線程。

1.3 MySQL workers

mysql-threads線程負責處理MySQL流量，包括所有來自客戶端的連接以及所有到後端服務器節點的連接。也就是：用少量線程處理任意多數量的連接。

MySQL workers線程在相同的端口上進行監聽。當新客戶端發起連接請求，其中一個MySQL worker線程將成功接受該連接，並創建一個MySQL會話(session)：客戶端和會話綁定在該worker線程上，直到連接斷開。換句話說，在斷開連接之前，某客戶端的所有連接總是被同一個worker線程處理。

默認情況下，MySQL worker的線程數量為4。

mysql> select @@mysql-threads;
+-----------------+
| @@mysql-threads |
+-----------------+
| 4               |
+-----------------+

mysql-threads變量修改後，必須重啟ProxySQL才能生效，這是少有的需要重啟的變量之一(另一個是mysql-stacksize)。例如，修改為8個mysql worker線程。

set mysql-threads=8;
save mysql variables to disk;

select * from runtime_global_variables 
 where variable_name='mysql-threads';
+---------------+----------------+
| variable_name | variable_value |
+---------------+----------------+
| mysql-threads | 4              |
+---------------+----------------+

service proxysql stop
service proxysql start

select * from runtime_global_variables 
 where variable_name='mysql-threads';
+---------------+----------------+
| variable_name | variable_value |
+---------------+----------------+
| mysql-threads | 8              |
+---------------+----------------+
 

1.4 MySQL auxiliary threads

這些線程其實就是空閑線程(idle threads)。

如果proxysql使用--idle-threads選項啟動，每個worker線程都會伴隨啟動一個auxiliary線程。每個worker線程以及它的auxiliary線程一起工作：第一個線程處理活動的連接，並將所有的空閑連接派遣到第二個線程上，但第二個線程只要等待到了發生在空閑連接上的一個事件(或超時)，就會將連接還給第一個線程。

當活動的客戶端連接數量遠少於空閑客戶端連接數量時，強烈建議使用"idle threads"。這使得ProxySQL可以處理幾十萬個連接(測試時是100W個連接)。

1.5 Monitor模塊相關的線程

monitor模塊有自己的線程管理系統，還有自己的線程池。正常情況下，monitor模塊有以下幾個線程：

• 一個master線程，負責生成、協調其它monitor相關的線程。
  
• 一個負責監控connect的線程。
  
• 一個負責監控ping的線程。
  
• 一個負責監控read_only的線程。
  
• 一個負責監控replication lag的線程。
  
• 一個線程池提供monitor worker線程，上面每個監控線程都是任務的生產者，worker線程從任務隊列消費一個任務並執行該任務。該線程池初始時默認為mysql thread的兩倍。

線程池負責執行所有的檢查任務，並通過以上各調度線程來監控調度情況。線程池會基於監控隊列中待檢查的數量多少而自動增長、收縮。基於檢查的結果，會使用相同的線程對結果進行處理，例如避開一個節點、重新配置一個主機組。

1.6 Query Cache purge thread

該線程是需要時才生成的，它扮演的是垃圾收集器，回收查詢緩存。通過垃圾收集器，可保證在客戶端等待響應的過程中絕不會回收緩存。

1.7 其它線程

在ProxySQL運行過程中，偶爾會派生臨時線程，這些臨時線程是為了向後端發送KILL語句，以便殺掉後端服務器上對查詢長時間無響應的查詢線程。

此外，ilbmariadbclient庫還會使用一些後臺線程，這些線程是為了和後端MySQL server進行一些特定的異步交互任務。

還有一些模塊，例如內置的Http server，正處於實驗階段的cluster、ClickHouse Server、SQLite3 Server，如果啟用了這些功能，則會按需創建它們對應的線程。

2.ProxySQL的線程池

在ProxySQL中，有兩個地方使用了線程池：

• 快速建立和後端MySQL的連接：ProxySQL為了盡快和後端MySQL建立新的TCP連接，使用了一個線程池來等待accept()返回新連接。
  
• Monitor模塊：為了盡快執行各監控線程生產的監控任務，monitor模塊提供了一個monitor worker線程池，可以快速從任務隊列中消費任務。

需要註意的是，正常情況下，MySQL worker線程是最繁忙、最消耗CPU資源的部分，但在一個極其繁忙的環境下，monitor模塊需要監控的連接數過多，消耗的CPU也是不可忽視的。

3.ProxySQL的連接池

ProxySQL同樣有兩個連接池，和線程池部分是對應的。

3.1 快速連接到後端MySQL節點

線程池是為了快速和後端建立新的TCP連接，而這裏的連接池是為了快速和後端建立連接。

ProxySQL使用一個連接池來存放一定數量的"之前已經和某後端建立連接，但當前是空閑連接"的連接。當需要向這些連接對應的後端發送新的數據包時，可以快速地取回連接，因為這些連接早已經被打開。

當應用程序發送了一個MySQL請求給ProxySQL時，ProxySQL首先解析要路由到哪個後端，如果連接池中已經有和該後端的連接，將重用該連接，否則將創建一個新的和後端的連接。

當處理完客戶端的請求後，連接會還回主機組管理器(HostGroup Manager)。如果主機組管理器判斷了該連接是可以被安全共享的，且連接池未滿，則該連接會放進連接池。

放進連接池的連接都是空閑連接，正在使用的連接是不可能進入連接池的。ProxySQL會定期發送ping消息來維持空閑連接。如果某連接從上一次ping之後，如果還沒有被使用，則該連接被定義為空閑連接。對於空閑連接ping的時間間隔由變量mysql-ping_interval_server_msec控制。

但是，不是所有的未使用的連接都會放進連接池。該變量用來控制某後端的空閑連接和最大總連接數的百分比。對於每個hostgroup/backend，主機組管理器只會保持連接池中的最大連接數為mysql-free_connections_pct * mysql_servers.max_connections / 100。池中的每個空閑連接都通過間斷性的ping來維持它的打開狀態。

當一個連接放回連接池時，會計算這個連接之後還能處理多少個語句，當處理的語句數量達到該閾值後，將關閉該連接(v1.4.3之前)或者重置該連接(從v1.4.4開始)。

3.1.1 相關變量

mysql-ping_interval_server_msec
ProxySQL為了維持和後端的空閑連接，每隔一段時間發送一次ping，該變量指定發起ping的時間間隔。默認值為10000毫秒(即10秒)。

mysql-ping_timeout_server
ProxySQL為了維持和後端的空閑連接，每隔一段時間發送一次ping。該變量指定ping得到回復的超時時間。默認值為200毫秒。

mysql-connection_max_age_ms
當該變量設置的值大於0時(單位毫秒)，如果某個空閑連接(當前沒有任何會話使用)的空閑時長超過了這裏設置的值，則這個連接會關閉。默認值為0，表示不會因為存活時間而關閉空閑連接。

3.2 Monitor模塊的連接池

Monitor有它自己的連接池。當連接池中空閑連接的空閑時長達到了3 * mysql-monitor_ping_interval(毫秒)後，該空閑連接將自動被purge。

變量mysql-monitor_ping_interval的默認值為1分鐘(60000毫秒)，所以，monitor連接池中的空閑連接默認最長維持3分鐘。

MySQL中間件之ProxySQL(5)：線程、線程池、連接池