1. 程式人生 > >使用c3p0與DBCP連接池,造成的MySql 8小時問題解決方式

使用c3p0與DBCP連接池,造成的MySql 8小時問題解決方式

rda pac 部分 文件中 從數據 mysql配置文件 font pts troy

本文提供了對c3p0與DBCP連接池連接MySql數據庫時。 8小時內無請求自己主動斷開連接的解決方式。首先介紹一下我在項目(c3p0連接池)中遇到的問題,後面還提供了使用DBCP連接池的解決方式。

基本問題解決

項目環境:

Java Web項目框架為Spring MVC+JPA,使用c3p0連接池,公布環境為Tomcat 7

錯誤描寫敘述:

項目執行一段時間(大概幾個小時)之後訪問時會出現第一次訪問報錯,再次訪問正常的現象。且多次出現此問題。

報錯日誌:

org.springframework.transaction.CannotCreateTransactionException: Could not open JPA EntityManager for transaction; nested exception is javax.persistence.PersistenceException: org.hibernate.TransactionException: JDBC begin transaction failed: 
	at org.springframework.orm.jpa.JpaTransactionManager.doBegin(JpaTransactionManager.java:428)
	at org.springframework.transaction.support.AbstractPlatformTransactionManager.getTransaction(AbstractPlatformTransactionManager.java:372)
	at org.springframework.transaction.interceptor.TransactionAspectSupport.createTransactionIfNecessary(TransactionAspectSupport.java:417)
	at org.springframework.transaction.interceptor.TransactionAspectSupport.invokeWithinTransaction(TransactionAspectSupport.java:255)
	at org.springframework.transaction.interceptor.TransactionInterceptor.invoke(TransactionInterceptor.java:94)
	at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:172)
	at org.springframework.aop.framework.CglibAopProxy$DynamicAdvisedInterceptor.intercept(CglibAopProxy.java:631)
	at com.appcarcare.cube.service.UserService$$EnhancerByCGLIB$$a4429cba.getUserDao(<generated>)

	at com.appcarcare.cube.servlet.DataCenterServlet$SqlTimer.connectSql(DataCenterServlet.java:76)
	at com.appcarcare.cube.servlet.DataCenterServlet$SqlTimer.run(DataCenterServlet.java:70)
	at java.util.TimerThread.mainLoop(Timer.java:555)
	at java.util.TimerThread.run(Timer.java:505)
Caused by: javax.persistence.PersistenceException: org.hibernate.TransactionException: JDBC begin transaction failed: 
	at org.hibernate.ejb.AbstractEntityManagerImpl.convert(AbstractEntityManagerImpl.java:1387)
	at org.hibernate.ejb.AbstractEntityManagerImpl.convert(AbstractEntityManagerImpl.java:1310)

	at org.hibernate.ejb.AbstractEntityManagerImpl.throwPersistenceException(AbstractEntityManagerImpl.java:1397)
	at org.hibernate.ejb.TransactionImpl.begin(TransactionImpl.java:62)
	at org.springframework.orm.jpa.DefaultJpaDialect.beginTransaction(DefaultJpaDialect.java:71)
	at org.springframework.orm.jpa.vendor.HibernateJpaDialect.beginTransaction(HibernateJpaDialect.java:60)
	at org.springframework.orm.jpa.JpaTransactionManager.doBegin(JpaTransactionManager.java:378)
	... 11 more
Caused by: org.hibernate.TransactionException: JDBC begin transaction failed: 
	at org.hibernate.engine.transaction.internal.jdbc.JdbcTransaction.doBegin(JdbcTransaction.java:76)
	at org.hibernate.engine.transaction.spi.AbstractTransactionImpl.begin(AbstractTransactionImpl.java:160)

	at org.hibernate.internal.SessionImpl.beginTransaction(SessionImpl.java:1426)
	at org.hibernate.ejb.TransactionImpl.begin(TransactionImpl.java:59)
	... 14 more
Caused by: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure

The last packet successfully received from the server was 1,836,166 milliseconds ago.  The last packet sent successfully to the server was 29,134 milliseconds ago.
	at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)
	at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
	at java.lang.reflect.Constructor.newInstance(Constructor.java:526)
	at com.mysql.jdbc.Util.handleNewInstance(Util.java:411)
	at com.mysql.jdbc.SQLError.createCommunicationsException(SQLError.java:1117)
	at com.mysql.jdbc.MysqlIO.reuseAndReadPacket(MysqlIO.java:3567)
	at com.mysql.jdbc.MysqlIO.reuseAndReadPacket(MysqlIO.java:3456)

	at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3997)
	at com.mysql.jdbc.MysqlIO.sendCommand(MysqlIO.java:2468)
	at com.mysql.jdbc.MysqlIO.sqlQueryDirect(MysqlIO.java:2629)
	at com.mysql.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:2713)
	at com.mysql.jdbc.ConnectionImpl.setAutoCommit(ConnectionImpl.java:5060)
	at com.mchange.v2.c3p0.impl.NewProxyConnection.setAutoCommit(NewProxyConnection.java:881)
	at org.hibernate.engine.transaction.internal.jdbc.JdbcTransaction.doBegin(JdbcTransaction.java:72)

	... 17 more
Caused by: java.net.SocketException: Software caused connection abort: recv failed
	at java.net.SocketInputStream.socketRead0(Native Method)
	at java.net.SocketInputStream.read(SocketInputStream.java:150)
	at java.net.SocketInputStream.read(SocketInputStream.java:121)
	at com.mysql.jdbc.util.ReadAheadInputStream.fill(ReadAheadInputStream.java:114)
	at com.mysql.jdbc.util.ReadAheadInputStream.readFromUnderlyingStreamIfNecessary(ReadAheadInputStream.java:161)
	at com.mysql.jdbc.util.ReadAheadInputStream.read(ReadAheadInputStream.java:189)
	at com.mysql.jdbc.MysqlIO.readFully(MysqlIO.java:3014)
	at com.mysql.jdbc.MysqlIO.reuseAndReadPacket(MysqlIO.java:3467)
	... 25 more


原因分析:

MySQLserver默認的“wait_timeout”是28800秒即8小時,意味著假設一個連接的空暇時間超過8個小時。MySQL將自己主動斷開該連接,而連接池卻覺得該連接還是有效的(由於並未校驗連接的有效性),當應用申請使用該連接時,就會導致上面的報錯。

解決方式(解決問題的辦法有三種,推薦另外一種):

1. 添加 MySQL 的 wait_timeout 屬性的值

改動mysql安裝文件夾下的配置文件 my.ini文件(假設沒有此文件,復制“my-default.ini”文件,生成“復件 my-default.ini”文件。將“復件 my-default.ini”文件重命名成“my.ini”
),在文件裏設置:
wait_timeout=31536000
interactive_timeout=31536000
這兩個參數的默認值是8小時(60*60*8=28800)。 註意: 1.wait_timeout的最大值僅僅同意2147483 (24天左右) 2.改動配置文件為網上大部分文章所提供的方式,也能夠使用mysql命令對這兩個屬性進行改動 技術分享
技術分享 技術分享

2. 降低連接池內連接的生存周期

降低連接池內連接的生存周期,使之小於上一項中所設置的wait_timeout 的值 改動 c3p0 的配置文件。在 Spring 的配置文件裏設置:
	<bean id="dataSource"  class="com.mchange.v2.c3p0.ComboPooledDataSource">  	
	<property name="maxIdleTime"value="1800"/>  
	<!--other properties -->  
	</bean>

3. 定期使用連接池內的連接

定期使用連接池內的連接,使得它們不會由於閑置超時而被 MySQL 斷開。
改動 c3p0 的配置文件,在 Spring 的配置文件裏設置:
        <bean id="dataSource" class="com.mchange.v2.c3p0.ComboPooledDataSource">  
	<property name="preferredTestQuery" value="SELECT 1"/>  
	<property name="idleConnectionTestPeriod" value="18000"/>  
	<property name="testConnectionOnCheckout" value="true"/>  
	</bean>

知識擴展

C3P0

C3P0是一個開放源碼的JDBC連接池,它在lib文件夾中與Hibernate一起公布,包含了實現jdbc3和jdbc2擴展規範說明的Connection 和Statement 池的DataSources 對象。 c3p0配置文件

<default-config> 
  <!--當連接池中的連接耗盡的時候c3p0一次同一時候獲取的連接數。Default: 3 --> 
  <property name="acquireIncrement">3</property> 
  <!--定義在從數據庫獲取新連接失敗後反復嘗試的次數。Default: 30 --> 
  <property name="acquireRetryAttempts">30</property> 
  <!--兩次連接中間隔時間,單位毫秒。

Default: 1000 -->   <property name="acquireRetryDelay">1000</property>   <!--連接關閉時默認將全部未提交的操作回滾。Default: false -->   <property name="autoCommitOnClose">false</property>   <!--c3p0將建一張名為Test的空表,並使用其自帶的查詢語句進行測試。假設定義了這個參數那麽   屬性preferredTestQuery將被忽略。你不能在這張Test表上進行不論什麽操作。它將僅僅供c3p0測試   使用。

Default: null-->   <property name="automaticTestTable">Test</property>   <!--獲取連接失敗將會引起全部等待連接池來獲取連接的線程拋出異常。

可是數據源仍有效   保留,並在下次調用getConnection()的時候繼續嘗試獲取連接。假設設為true,那麽在嘗試   獲取連接失敗後該數據源將申明已斷開並永久關閉。Default: false-->   <property name="breakAfterAcquireFailure">false</property>   <!--當連接池用完時client調用getConnection()後等待獲取新連接的時間,超時後將拋出   SQLException,如設為0則無限期等待。單位毫秒。

Default: 0 -->   <property name="checkoutTimeout">100</property>   <!--通過實現ConnectionTester或QueryConnectionTester的類來測試連接。

類名需制定全路徑。

  Default: com.mchange.v2.c3p0.impl.DefaultConnectionTester-->   <property name="connectionTesterClassName"></property>   <!--指定c3p0 libraries的路徑。假設(通常都是這樣)在本地就可以獲得那麽無需設置,默認null就可以   Default: null-->   <property name="factoryClassLocation">null</property>   <!--Strongly disrecommended. Setting this to true may lead to subtle and bizarre bugs.   (文檔原文)作者強烈建議不使用的一個屬性-->   <property name="forceIgnoreUnresolvedTransactions">false</property>   <!--每60秒檢查全部連接池中的空暇連接。

Default: 0 -->   <property name="idleConnectionTestPeriod">60</property>   <!--初始化時獲取三個連接。取值應在minPoolSize與maxPoolSize之間。Default: 3 -->   <property name="initialPoolSize">3</property>   <!--最大空暇時間,60秒內未使用則連接被丟棄。

若為0則永不丟棄。Default: 0 -->   <property name="maxIdleTime">60</property>   <!--連接池中保留的最大連接數。

Default: 15 -->   <property name="maxPoolSize">15</property>   <!--JDBC的標準參數,用以控制數據源內載入的PreparedStatements數量。

但因為預緩存的statements   屬於單個connection而不是整個連接池。

所以設置這個參數須要考慮到多方面的因素。   假設maxStatements與maxStatementsPerConnection均為0,則緩存被關閉。

Default: 0-->   <property name="maxStatements">100</property>   <!--maxStatementsPerConnection定義了連接池內單個連接所擁有的最大緩存statements數。Default: 0 -->   <property name="maxStatementsPerConnection"></property>   <!--c3p0是異步操作的。緩慢的JDBC操作通過幫助進程完畢。

擴展這些操作能夠有效的提升性能   通過多線程實現多個操作同一時候被運行。Default: 3-->   <property name="numHelperThreads">3</property>   <!--當用戶調用getConnection()時使root用戶成為去獲取連接的用戶。主要用於連接池連接非c3p0   的數據源時。Default: null-->   <property name="overrideDefaultUser">root</property>   <!--與overrideDefaultUser參數相應使用的一個參數。Default: null-->   <property name="overrideDefaultPassword">password</property>   <!--密碼。Default: null-->   <property name="password"></property>   <!--定義全部連接測試都運行的測試語句。

在使用連接測試的情況下這個一顯著提高測試速度。註意:   測試的表必須在初始數據源的時候就存在。

Default: null-->   <property name="preferredTestQuery">select id from test where id=1</property>   <!--用戶改動系統配置參數運行前最多等待300秒。

Default: 300 -->   <property name="propertyCycle">300</property>   <!--因性能消耗大請僅僅在須要的時候使用它。

假設設為true那麽在每一個connection提交的   時候都將校驗其有效性。建議使用idleConnectionTestPeriod或automaticTestTable   等方法來提升連接測試的性能。Default: false -->   <property name="testConnectionOnCheckout">false</property>   <!--假設設為true那麽在取得連接的同一時候將校驗連接的有效性。Default: false -->   <property name="testConnectionOnCheckin">true</property>   <!--username。

Default: null-->   <property name="user">root</property>   在Hibernate(spring管理)中的配置:   <bean id="dataSource" class="com.mchange.v2.c3p0.ComboPooledDataSource" destroy-method="close">   <property name="driverClass"><value>oracle.jdbc.driver.OracleDriver</value></property>   <property name="jdbcUrl"><value>jdbc:oracle:thin:@localhost:1521:Test</value></property>   <property name="user"><value>Kay</value></property>   <property name="password"><value>root</value></property>   <!--連接池中保留的最小連接數。-->   <property name="minPoolSize" value="10" />   <!--連接池中保留的最大連接數。

Default: 15 -->   <property name="maxPoolSize" value="100" />   <!--最大空暇時間,1800秒內未使用則連接被丟棄。

若為0則永不丟棄。

Default: 0 -->   <property name="maxIdleTime" value="1800" />   <!--當連接池中的連接耗盡的時候c3p0一次同一時候獲取的連接數。Default: 3 -->   <property name="acquireIncrement" value="3" />   <property name="maxStatements" value="1000" />   <property name="initialPoolSize" value="10" />   <!--每60秒檢查全部連接池中的空暇連接。Default: 0 -->   <property name="idleConnectionTestPeriod" value="60" />   <!--定義在從數據庫獲取新連接失敗後反復嘗試的次數。

Default: 30 -->   <property name="acquireRetryAttempts" value="30" />   <property name="breakAfterAcquireFailure" value="true" />   <property name="testConnectionOnCheckout" value="false" />   </bean>   ###########################   ### C3P0 Connection Pool###   ###########################   #hibernate.c3p0.max_size 2   #hibernate.c3p0.min_size 2   #hibernate.c3p0.timeout 5000   #hibernate.c3p0.max_statements 100   #hibernate.c3p0.idle_test_period 3000   #hibernate.c3p0.acquire_increment 2   #hibernate.c3p0.validate false   在hibernate.cfg.xml文件中面增加例如以下的配置:   <!-- 最大連接數 -->   <property name="hibernate.c3p0.max_size">20</property>   <!-- 最小連接數 -->   <property name="hibernate.c3p0.min_size">5</property>   <!-- 獲得連接的超時時間,假設超過這個時間,會拋出異常。單位毫秒 -->   <property name="hibernate.c3p0.timeout">120</property>   <!-- 最大的PreparedStatement的數量 -->   <property name="hibernate.c3p0.max_statements">100</property>   <!-- 每隔120秒檢查連接池裏的空暇連接 。單位是秒-->   <property name="hibernate.c3p0.idle_test_period">120</property>   <!-- 當連接池裏面的連接用完的時候,C3P0一下獲取的新的連接數 -->   <property name="hibernate.c3p0.acquire_increment">2</property>   <!-- 每次都驗證連接是否可用 -->   <property name="hibernate.c3p0.validate">true</property>


使用DBCP連接池時出現MySql 8小時斷開連接的解決方法

改動l配置文件:
改動例如以下:

<data-sources>
        <data-source key="org.apache.struts.action.DATA_SOURCE"                             type="org.apache.commons.dbcp.BasicDataSource">
        <set-property property="driverClassName" value="com.mysql.jdbc.Driver" />
        <set-property property="description" value="wjjg" />
        <set-property property="url" value="jdbc:mysql://localhost/wjjg?

useUnicode=true&characterEncoding=GB2312" /> <set-property property="password" value="12345678" /> <set-property property="username" value="wjjg" /> <set-property property="maxActive" value="10" /> <set-property property="maxIdle" value="60000" /> <set-property property="maxWait" value="60000" /> <set-property property="defaultAutoCommit" value="true" /> <set-property property="defaultReadOnly" value="false" /> <set-property property="testOnBorrow" value="true"/> <set-property property="validationQuery" value="select 1"/> </data-source>

當中testOnBorrow validationQuery 非常重要。


testOnBorrow的意思是從數據庫連接池中取得連接時,對其的有效性進行檢查。

validationQuery 是用來檢查的SQL語句,“select 1”運行較快。是一個不錯的檢測語句。

回想

當測試人員反映到這個問題的時候。非常快就鎖定了Mysql八小時的問題。可是解決方式卻費了我不小功夫。先是考慮到改動mysql配置文件肯定是不太合理的。棄之。

然後想了一下在一個servlet中寫了個定時器,讓它每兩小時查一下數據庫,執行了幾天發現問題仍然存在,將定時器間隔時間改動為30分鐘、3分鐘仍然無濟於事,異常照常出現,棄之。

在網上搜了一下解決方式也挺多。把

<set-property property="testOnBorrow" value="true"/>
        <set-property property="validationQuery" value="select 1"/>

寫入到配置文件裏,執行報錯。說bean中沒有這兩個屬性,查看了一下原來是我用的c3p0連接池。而這個解決方式是針對DBCP連接池的。

最後在配置文件裏。加入了

<property name="maxIdleTime"value="1800"/>

成功攻克了問題。

感悟,問題非常easy。就是改個配置文件。可是遇到問題須要高速解決這個問題的能力,更須要認真的態度。



使用c3p0與DBCP連接池,造成的MySql 8小時問題解決方式