1. 程式人生 > >談談數據庫連接池的原理

談談數據庫連接池的原理

CP 自然 啟動 implement 容器 情況下 設置 可用 num

這次我們采取技術演進的方式來談談數據庫連接池的技術出現過程及其原理,以及當下最流行的開源數據庫連接池jar包。

一.早期我們怎麽進行數據庫操作

技術分享圖片

1.原理:一般來說,java應用程序訪問數據庫的過程是:

  ①裝載數據庫驅動程序;

  ②通過jdbc建立數據庫連接;

  ③訪問數據庫,執行sql語句;

  ④斷開數據庫連接。

2.代碼

// 查詢所有用戶

[java] view plain copy
  1. Public void FindAllUsers(){
  2. //1、裝載sqlserver驅動對象
  3. DriverManager.registerDriver(new SQLServerDriver());
  4. //2、通過JDBC建立數據庫連接
  5. Connection con =DriverManager.getConnection("jdbc:sqlserver://192.168.2.6:1433;DatabaseName=customer", "sa", "123");
  6. //3、創建狀態
  7. Statement state =con.createStatement();
  8. //4、查詢數據庫並返回結果
  9. ResultSet result =state.executeQuery("select * from users");
  10. //5、輸出查詢結果
  11. while(result.next()){
  12. System.out.println(result.getString("email"));
  13. }
  14. //6、斷開數據庫連接
  15. result.close();
  16. state.close();
  17. con.close();
  18. }

3.分析

程序開發過程中,存在很多問題:首先,每一次web請求都要建立一次數據庫連接。建立連接是一個費時的活動,每次都得花費0.05s~1s的時間,而且系統還要分配內存資源。這個時間對於一次或幾次數據庫操作,或許感覺不出系統有多大的開銷。可是對於現在的web應用,尤其是大型電子商務網站,同時有幾百人甚至幾千人在線是很正常的事。在這種情況下,頻繁的進行數據庫連接操作勢必占用很多的系統資源,網站的響應速度必定下降,嚴重的甚至會造成服務器的崩潰。不是危言聳聽,這就是制約某些電子商務網站發展的技術瓶頸問題。其次,對於每一次數據庫連接,使用完後都得斷開。否則,如果程序出現異常而未能關閉,將會導致數據庫系統中的內存泄漏,最終將不得不重啟數據庫。還有,這種開發不能控制被創建的連接對象數,系統資源會被毫無顧及的分配出去,如連接過多,也可能導致內存泄漏,服務器崩潰。

上述的用戶查詢案例,如果同時有1000人訪問,就會不斷的有數據庫連接、斷開操作:

技術分享圖片

通過上面的分析,我們可以看出來,“數據庫連接”是一種稀缺的資源,為了保障網站的正常使用,應該對其進行妥善管理。其實我們查詢完數據庫後,如果不關閉連接,而是暫時存放起來,當別人使用時,把這個連接給他們使用。就避免了一次建立數據庫連接和斷開的操作時間消耗。原理如下:

技術分享圖片

二. 技術演進出來的數據庫連接池

由上面的分析可以看出,問題的根源就在於對數據庫連接資源的低效管理。我們知道,對於共享資源,有一個很著名的設計模式:資源池(resource pool)。該模式正是為了解決資源的頻繁分配﹑釋放所造成的問題。為解決上述問題,可以采用數據庫連接池技術。數據庫連接池的基本思想就是為數據庫連接建立一個“緩沖池”。預先在緩沖池中放入一定數量的連接,當需要建立數據庫連接時,只需從“緩沖池”中取出一個,使用完畢之後再放回去。我們可以通過設定連接池最大連接數來防止系統無盡的與數據庫連接。更為重要的是我們可以通過連接池的管理機制監視數據庫的連接的數量﹑使用情況,為系統開發﹑測試及性能調整提供依據。

我們自己嘗試開發一個連接池,來為上面的查詢業務提供數據庫連接服務:

① 編寫class 實現DataSource 接口

② 在class構造器一次性創建10個連接,將連接保存LinkedList中

③ 實現getConnection 從 LinkedList中返回一個連接

④ 提供將連接放回連接池中方法

1、連接池代碼

[java] view plain copy
  1. public class MyDataSource implements DataSource {
  2. //鏈表 --- 實現棧結構
  3. privateLinkedList<Connection> dataSources = new LinkedList<Connection>();
  4. //初始化連接數量
  5. publicMyDataSource() {
  6. //一次性創建10個連接
  7. for(int i = 0; i < 10; i++) {
  8. try {
  9. //1、裝載sqlserver驅動對象
  10. DriverManager.registerDriver(new SQLServerDriver());
  11. //2、通過JDBC建立數據庫連接
  12. Connection con =DriverManager.getConnection(
  13. "jdbc:sqlserver://192.168.2.6:1433;DatabaseName=customer", "sa", "123");
  14. //3、將連接加入連接池中
  15. dataSources.add(con);
  16. } catch (Exception e) {
  17. e.printStackTrace();
  18. }
  19. }
  20. }
  21. @Override
  22. publicConnection getConnection() throws SQLException {
  23. //取出連接池中一個連接
  24. finalConnection conn = dataSources.removeFirst(); // 刪除第一個連接返回
  25. returnconn;
  26. }
  27. //將連接放回連接池
  28. publicvoid releaseConnection(Connection conn) {
  29. dataSources.add(conn);
  30. }
  31. }

2、使用連接池重構我們的用戶查詢函數

[java] view plain copy
  1. //查詢所有用戶
  2. Public void FindAllUsers(){
  3. //1、使用連接池建立數據庫連接
  4. MyDataSource dataSource = new MyDataSource();
  5. Connection conn =dataSource.getConnection();
  6. //2、創建狀態
  7. Statement state =con.createStatement();
  8. //3、查詢數據庫並返回結果
  9. ResultSet result =state.executeQuery("select * from users");
  10. //4、輸出查詢結果
  11. while(result.next()){
  12. System.out.println(result.getString("email"));
  13. }
  14. //5、斷開數據庫連接
  15. result.close();
  16. state.close();
  17. //6、歸還數據庫連接給連接池
  18. dataSource.releaseConnection(conn);
  19. }

這就是數據庫連接池的原理,它大大提供了數據庫連接的利用率,減小了內存吞吐的開銷。我們在開發過程中,就不需要再關心數據庫連接的問題,自然有數據庫連接池幫助我們處理,這回放心了吧。但連接池需要考慮的問題不僅僅如此,下面我們就看看還有哪些問題需要考慮。

三.連接池還要考慮更多的問題

1、並發問題

為了使連接管理服務具有最大的通用性,必須考慮多線程環境,即並發問題。這個問題相對比較好解決,因為java語言自身提供了對並發管理的支持,使用synchronized關鍵字即可確保線程是同步的。使用方法為直接在類方法前面加上synchronized關鍵字,如:

publicsynchronized connection getconnection()

2、多數據庫服務器和多用戶

對於大型的企業級應用,常常需要同時連接不同的數據庫(如連接oracle和sybase)。如何連接不同的數據庫呢?我們采用的策略是:設計一個符合單例模式的連接池管理類,在連接池管理類的唯一實例被創建時讀取一個資源文件,其中資源文件中存放著多個數據庫的url地址等信息。根據資源文件提供的信息,創建多個連接池類的實例,每一個實例都是一個特定數據庫的連接池。連接池管理類實例為每個連接池實例取一個名字,通過不同的名字來管理不同的連接池。

對於同一個數據庫有多個用戶使用不同的名稱和密碼訪問的情況,也可以通過資源文件處理,即在資源文件中設置多個具有相同url地址,但具有不同用戶名和密碼的數據庫連接信息。

3、事務處理

我們知道,事務具有原子性,此時要求對數據庫的操作符合“all-all-nothing”原則即對於一組sql語句要麽全做,要麽全不做。

在java語言中,connection類本身提供了對事務的支持,可以通過設置connection的autocommit屬性為false 然後顯式的調用commit或rollback方法來實現。但要高效的進行connection復用,就必須提供相應的事務支持機制。可采用每一個事務獨占一個連接來實現,這種方法可以大大降低事務管理的復雜性。

4、連接池的分配與釋放

連接池的分配與釋放,對系統的性能有很大的影響。合理的分配與釋放,可以提高連接的復用度,從而降低建立新連接的開銷,同時還可以加快用戶的訪問速度。

對於連接的管理可使用空閑池。即把已經創建但尚未分配出去的連接按創建時間存放到一個空閑池中。每當用戶請求一個連接時,系統首先檢查空閑池內有沒有空閑連接。如果有就把建立時間最長(通過容器的順序存放實現)的那個連接分配給他(實際是先做連接是否有效的判斷,如果可用就分配給用戶,如不可用就把這個連接從空閑池刪掉,重新檢測空閑池是否還有連接);如果沒有則檢查當前所開連接池是否達到連接池所允許的最大連接數(maxconn)如果沒有達到,就新建一個連接,如果已經達到,就等待一定的時間(timeout)。如果在等待的時間內有連接被釋放出來就可以把這個連接分配給等待的用戶,如果等待時間超過預定時間timeout 則返回空值(null)。系統對已經分配出去正在使用的連接只做計數,當使用完後再返還給空閑池。對於空閑連接的狀態,可開辟專門的線程定時檢測,這樣會花費一定的系統開銷,但可以保證較快的響應速度。也可采取不開辟專門線程,只是在分配前檢測的方法。

5、連接池的配置與維護

連接池中到底應該放置多少連接,才能使系統的性能最佳?系統可采取設置最小連接數(minconn)和最大連接數(maxconn)來控制連接池中的連接。最小連接數是系統啟動時連接池所創建的連接數。如果創建過多,則系統啟動就慢,但創建後系統的響應速度會很快;如果創建過少,則系統啟動的很快,響應起來卻慢。這樣,可以在開發時,設置較小的最小連接數,開發起來會快,而在系統實際使用時設置較大的,因為這樣對訪問客戶來說速度會快些。最大連接數是連接池中允許連接的最大數目,具體設置多少,要看系統的訪問量,可通過反復測試,找到最佳點。

如何確保連接池中的最小連接數呢?有動態和靜態兩種策略。動態即每隔一定時間就對連接池進行檢測,如果發現連接數量小於最小連接數,則補充相應數量的新連接以保證連接池的正常運轉。靜態是發現空閑連接不夠時再去檢查。

四.實際開發中有成熟的開源連接池供我們使用

理解了連接池的原理就可以了,沒有必要什麽都從頭寫一遍,那樣會花費很多時間,並且性能及穩定性也不一定滿足要求。事實上,已經存在很多流行的性能優良的第三方數據庫連接池jar包供我們使用。如:

1.Apache commons-dbcp 連接池

下載:http://commons.apache.org/proper/commons-dbcp/

2.c3p0 數據庫連接池

下載:http://sourceforge.net/projects/c3p0/

談談數據庫連接池的原理