基於JDBC的資料庫連線池技術研究與應用
阿新 • • 發佈：2018-12-19
近年來，隨著Internet/Intranet建網技術的飛速發展和在世界範圍內的迅速普及，計算機 應用程式已從傳統的桌面應用轉到Web應用。基於B/S（Browser/Server）架構的3層開發模式逐漸取代C/S（Client/Server）架構的開發模式，成為開發企業級應用和電子商務普遍採用的技術。在Web應用開發的早期，主要使用的技術是CGI、ASP、PHP等。之後，Sun公司推出了基於Java語言的servlet+Jsp+JavaBean技術。相比傳統的開發技術，它具有跨平臺、安全、有效、可移植等特性，這使其更便於使用和開發。 Java應用程式訪問資料庫的基本原理 在Java語言中，JDBC（Java DataBase Connection）是應用程式與資料庫溝通的橋樑,即Java語言通過JDBC技術訪問資料庫。JDBC是一種“開放”的方案，它為資料庫應用開發人員?資料庫前臺工具開發人員提供了一種標準的應用程式設計介面，使開發人員可以用純Java語言編寫完整的資料庫應用程式。JDBC提供兩種API，分別是面向開發人員的API和麵向底層的JDBC驅動程式API，底層主要通過直接的JDBC驅動和JDBC-ODBC橋驅動實現與資料庫的連線。 一般來說，Java應用程式訪問資料庫的過程是： ①裝載資料庫驅動程式； ②通過JDBC建立資料庫連線； ③訪問資料庫，執行SQL語句； ④斷開資料庫連線。 JDBC作為一種資料庫訪問技術，具有簡單易用的優點。但使用這種模式進行Web應用 程式開發，存在很多問題：首先，每一次Web請求都要建立一次資料庫連線。建立連線是一個費時的活動，每次都得花費0.05s～1s的時間，而且系統還要分配記憶體資源。這個時間對於一次或幾次資料庫操作，或許感覺不出系統有多大的開銷。可是對於現在的Web應用，尤其是大型電子商務網站，同時有幾百人甚至幾千人線上是很正常的事。在這種情況下，頻繁的進行資料庫連線操作勢必佔用很多的系統資源，網站的響應速度必定下降，嚴重的甚至會造成伺服器的崩潰。不是危言聳聽，這就是制約某些電子商務網站發展的技術瓶頸問題。其次，對於每一次資料庫連線，使用完後都得斷開。否則，如果程式出現異常而未能關閉，將會導致資料庫系統中的記憶體洩漏，最終將不得不重啟資料庫。還有，這種開發不能控制被建立的連線物件數，系統資源會被毫無顧及的分配出去，如連線過多，也可能導致記憶體洩漏，伺服器崩潰。 資料庫連線池（connection pool）的工作原理 1、基本概念及原理 由上面的分析可以看出，問題的根源就在於對資料庫連線資源的低效管理。 我們知道，對於共享資源，有一個很著名的設計模式：資源池（Resource Pool）。該模式正是為了解決資源的頻繁分配、釋放所造成的問題。為解決上述問題，可以採用資料庫連線池技術。資料庫連線池的基本思想就是為資料庫連線建立一個“緩衝池”。預先在緩衝池中放入一定數量的連線，當需要建立資料庫連線時，只需從“緩衝池”中取出一個，使用完畢之後再放回去。我們可以通過設定連線池最大連線數來防止系統無盡的與資料庫連線。更為重要的是我們可以通過連線池的管理機制監視資料庫的連線的數量?使用情況，為系統開發?測試及效能調整提供依據。連線池的基本工作原理見下圖2。 2、伺服器自帶的連線池 JDBC的API中沒有提供連線池的方法。一些大型的WEB應用伺服器如BEA的WebLogic和IBM的WebSphere等提供了連線池的機制，但是必須有其第三方的專用類方法支援連線池的用法。 連線池關鍵問題分析 1、併發問題 為了使連線管理服務具有最大的通用性，必須考慮多執行緒環境，即併發問題。這個問題相對比較好解決，因為Java語言自身提供了對併發管理的支援，使用synchronized關鍵字即可確保執行緒是同步的。使用方法為直接在類方法前面加上synchronized關鍵字，如： public synchronized Connection getConnection（） 2、多資料庫伺服器和多使用者 對於大型的企業級應用，常常需要同時連線不同的資料庫（如連線Oracle和Sybase）。如何連線不同的資料庫呢？我們採用的策略是：設計一個符合單例模式的連線池管理類，在連線池管理類的唯一例項被建立時讀取一個資原始檔，其中資原始檔中存放著多個數據庫的url地址（<poolName.url>）?使用者名稱（<poolName.user>）?密碼（<poolName.password>）等資訊。如tx.url=172.21.15.123：5000/tx_it，tx.user=yang，tx.password=yang321。根據資原始檔提供的資訊，建立多個連線池類的例項，每一個例項都是一個特定資料庫的連線池。連線池管理類例項為每個連線池例項取一個名字，通過不同的名字來管理不同的連線池。 對於同一個資料庫有多個使用者使用不同的名稱和密碼訪問的情況，也可以通過資原始檔處理，即在資原始檔中設定多個具有相同url地址，但具有不同使用者名稱和密碼的資料庫連線資訊。 3、事務處理 我們知道，事務具有原子性，此時要求對資料庫的操作符合“ALL-ALL-NOTHING”原則,即對於一組SQL語句要麼全做，要麼全不做。 在Java語言中，Connection類本身提供了對事務的支援，可以通過設定Connection的AutoCommit屬性為false,然後顯式的呼叫commit或rollback方法來實現。但要高效的進行Connection複用，就必須提供相應的事務支援機制。可採用每一個事務獨佔一個連線來實現，這種方法可以大大降低事務管理的複雜性。 4、連線池的分配與釋放 連線池的分配與釋放，對系統的效能有很大的影響。合理的分配與釋放，可以提高連線的複用度，從而降低建立新連線的開銷，同時還可以加快使用者的訪問速度。 對於連線的管理可使用空閒池。即把已經建立但尚未分配出去的連線按建立時間存放到一個空閒池中。每當使用者請求一個連線時，系統首先檢查空閒池內有沒有空閒連線。如果有就把建立時間最長（通過容器的順序存放實現）的那個連線分配給他（實際是先做連線是否有效的判斷，如果可用就分配給使用者，如不可用就把這個連線從空閒池刪掉，重新檢測空閒池是否還有連線）；如果沒有則檢查當前所開連線池是否達到連線池所允許的最大連線數（maxConn）,如果沒有達到，就新建一個連線，如果已經達到，就等待一定的時間（timeout）。如果在等待的時間內有連線被釋放出來就可以把這個連線分配給等待的使用者，如果等待時間超過預定時間timeout,則返回空值（null）。系統對已經分配出去正在使用的連線只做計數，當使用完後再返還給空閒池。對於空閒連線的狀態，可開闢專門的執行緒定時檢測，這樣會花費一定的系統開銷，但可以保證較快的響應速度。也可採取不開闢專門執行緒，只是在分配前檢測的方法。 5、連線池的配置與維護 連線池中到底應該放置多少連線，才能使系統的效能最佳？系統可採取設定最小連線數（minConn）和最大連線數（maxConn）來控制連線池中的連線。最小連線數是系統啟動時連線池所建立的連線數。如果建立過多，則系統啟動就慢，但建立後系統的響應速度會很快；如果建立過少，則系統啟動的很快，響應起來卻慢。這樣，可以在開發時，設定較小的最小連線數，開發起來會快，而在系統實際使用時設定較大的，因為這樣對訪問客戶來說速度會快些。最大連線數是連線池中允許連線的最大數目，具體設定多少，要看系統的訪問量，可通過反覆測試，找到最佳點。 如何確保連線池中的最小連線數呢？有動態和靜態兩種策略。動態即每隔一定時間就對連線池進行檢測，如果發現連線數量小於最小連線數，則補充相應數量的新連線,以保證連線池的正常運轉。靜態是發現空閒連線不夠時再去檢查。 連線池的實現 1、連線池模型 本文討論的連線池包括一個連線池類（DBConnectionPool）和一個連線池管理類（DBConnetionPoolManager）。連線池類是對某一資料庫所有連線的“緩衝池”，主要實現以下功能：①從連線池獲取或建立可用連線；②使用完畢之後，把連線返還給連線池；③在系統關閉前，斷開所有連線並釋放連線佔用的系統資源；④還能夠處理無效連線（原來登記為可用的連線，由於某種原因不再可用，如超時，通訊問題），並能夠限制連線池中的連線總數不低於某個預定值和不超過某個預定值。 連線池管理類是連線池類的外覆類（wrapper）,符合單例模式，即系統中只能有一個連線池管理類的例項。其主要用於對多個連線池物件的管理，具有以下功能：①裝載並註冊特定資料庫的JDBC驅動程式；②根據屬性檔案給定的資訊，建立連線池物件；③為方便管理多個連線池物件，為每一個連線池物件取一個名字，實現連線池名字與其例項之間的對映；④跟蹤客戶使用連線情況，以便需要是關閉連線釋放資源。連線池管理類的引入主要是為了方便對多個連線池的使用和管理，如系統需要連線不同的資料庫，或連線相同的資料庫但由於安全性問題，需要不同的使用者使用不同的名稱和密碼。 2、連線池實現 下面給出連線池類和連線池管理類的主要屬性及所要實現的基本介面： public class DBConnectionPool implements TimerListener{ private int checkedOut;//已被分配出去的連線數 private ArrayList freeConnections = new ArrayList();//容器，空閒池，根據//建立時間順序存放已建立但尚未分配出去的連線 private int minConn;//連線池裡連線的最小數量 private int maxConn;//連線池裡允許存在的最大連線數 private String name;//為這個連線池取個名字，方便管理 private String password;//連線資料庫時需要的密碼 private String url;//所要建立連線的資料庫的地址 private String user;//連線資料庫時需要的使用者名稱 public Timer timer;//定時器 public DBConnectionPool(String name, String URL, String user, String password, int maxConn)//公開的建構函式 public synchronized void freeConnection(Connection con) //使用完畢之後，//把連線返還給空閒池 public synchronized Connection getConnection(long timeout)//得到一個連線，//timeout是等待時間 public synchronized void release()//斷開所有連線，釋放佔用的系統資源 private Connection newConnection()//新建一個數據庫連線 public synchronized void TimerEvent() //定時器事件處理函式 } public class DBConnectionManager { static private DBConnectionManager instance;//連線池管理類的唯一例項 static private int clients;//客戶數量 private ArrayList drivers = new ArrayList();//容器，存放資料庫驅動程式 private HashMap pools = new HashMap ();//以name/value的形式存取連線池//物件的名字及連線池物件 static synchronized public DBConnectionManager getInstance()//如果唯一的//例項instance已經建立，直接返回這個例項;否則，呼叫私有建構函式，創//建連線池管理類的唯一例項 private DBConnectionManager()//私有建構函式,在其中呼叫初始化函式init() public void freeConnection(String name, Connection con)// 釋放一個連線，//name是一個連線池物件的名字 public Connection getConnection(String name)//從名字為name的連線池物件//中得到一個連線 public Connection getConnection(String name, long time)//從名字為name //的連線池物件中取得一個連線，time是等待時間 public synchronized void release()//釋放所有資源 private void createPools(Properties props)//根據屬性檔案提供的資訊，建立//一個或多個連線池 private void init()//初始化連線池管理類的唯一例項，由私有建構函式呼叫 private void loadDrivers(Properties props)//裝載資料庫驅動程式 } 3、連線池使用 上面所實現的連線池在程式開發時如何應用到系統中呢？下面以Servlet為例說明連線池的使用。 Servlet的生命週期是：在開始建立servlet時，呼叫其初始化（init）方法。之後每個使用者請求都導致一個呼叫前面建立的例項的service方法的執行緒。最後，當伺服器決定解除安裝一個servlet時，它首先呼叫該servlet的 destroy方法。 根據servlet的特點，我們可以在初始化函式中生成連線池管理類的唯一例項（其中包括建立一個或多個連線池）。如： public void init() throws ServletException { connMgr = DBConnectionManager.getInstance(); } 然後就可以在service方法中通過連線池名稱使用連線池，執行資料庫操作。最後在destroy方法中釋放佔用的系統資源，如： public void destroy() { connMgr.release(); super.destroy(); }