1. 程式人生 > >多執行緒Django程式耗盡資料庫連線的問題

多執行緒Django程式耗盡資料庫連線的問題

Django的ORM是非常好用的,哪怕不是做Web專案也值得一用,所以網上也可以找到不少使用 Django 開發非Web專案的資料,因為除了ORM之個,命令列、配置檔案等元件也非常好用。

最近用這種方式開發了一個非Web專案,而且是多執行緒的。有N個工作執行緒從DB中獲取jobs,並把結果寫回DB。簡單來說就是這樣。

專案執行一段時間後,發現數據庫連線耗盡了,幸好記憶體大,然後一直往上調,最後連線數都上九千多一萬了。耗盡連線數的時候,PostgreSQL 會出現類似這樣的錯誤:

FATAL: remaining connection slots are reserved for non-replication superuser connections

然後就各種看文件、程式碼,找問題,其中艱難略下不表,最後大概是這麼些個知識點:

  1. Django裡的資料庫連線是放線上程的 local() 例項中的。
  2. 任何時候,需要一個數據庫連線的話,Django就會建立一條出來,或者用本執行緒已有的那條。
  3. 如果是Web專案,在請求結束的時候,Django會去關閉掉連線。是的,沒有連線池。
  4. 因為我們是非Web專案,所以不存在請求結束事件,所以一直沒的關閉連線。但本來這個應該也不會造成問題的,因為沒關閉就一直用唄,但不知道哪裡出了問題,會出現連線洩漏,所以連線資料會一直增長。

最後的解決方案是找時機主動關閉資料庫連線,具體到我們專案,就是每次工作執行緒完成一個任務後,就把它相關的連線關掉,因為我們用的是ThreadPoolExecutor

,所以Django很容易做到這一點。

重點程式碼如下:

from django.db import connections

def on_done(future):
    # 因為每一個執行緒都有一個 connections,所以這裡可以呼叫 close_all(),把本執行緒名下的所有連線關閉。
    connections.close_all()

def main():
    # ...
    with ThreadPoolExecutor() as executor:
        while True:
            future = executor.submit(do, get_a_job())
            future.add_done_callback(on_done)

主動關閉後,資料庫連線數降到與工作執行緒數相近,並保持穩定。