Java自学者论坛

 找回密码
 立即注册

手机号码,快捷登录

恭喜Java自学者论坛(https://www.javazxz.com)已经为数万Java学习者服务超过8年了!积累会员资料超过10000G+
成为本站VIP会员,下载本站10000G+会员资源,会员资料板块,购买链接:点击进入购买VIP会员

JAVA高级面试进阶训练营视频教程

Java架构师系统进阶VIP课程

分布式高可用全栈开发微服务教程Go语言视频零基础入门到精通Java架构师3期(课件+源码)
Java开发全终端实战租房项目视频教程SpringBoot2.X入门到高级使用教程大数据培训第六期全套视频教程深度学习(CNN RNN GAN)算法原理Java亿级流量电商系统视频教程
互联网架构师视频教程年薪50万Spark2.0从入门到精通年薪50万!人工智能学习路线教程年薪50万大数据入门到精通学习路线年薪50万机器学习入门到精通教程
仿小米商城类app和小程序视频教程深度学习数据分析基础到实战最新黑马javaEE2.1就业课程从 0到JVM实战高手教程MySQL入门到精通教程
查看: 556|回复: 0

使用c3p0与DBCP连接池,造成的MySql 8小时问题解决方式

[复制链接]
  • TA的每日心情
    奋斗
    2024-11-24 15:47
  • 签到天数: 804 天

    [LV.10]以坛为家III

    2053

    主题

    2111

    帖子

    72万

    积分

    管理员

    Rank: 9Rank: 9Rank: 9

    积分
    726782
    发表于 2021-7-20 15:55:14 | 显示全部楼层 |阅读模式

    本文提供了对c3p0与DBCP连接池连接MySql数据库时。 8小时内无请求自己主动断开连接的解决方式。首先介绍一下我在项目(c3p0连接池)中遇到的问题,后面还提供了使用DBCP连接池的解决方式。

    基本问题解决

    项目环境:

    Java Web项目框架为Spring MVC+JPA,使用c3p0连接池,公布环境为Tomcat 7

    错误描写叙述:

    项目执行一段时间(大概几个小时)之后訪问时会出现第一次訪问报错,再次訪问正常的现象。且多次出现此问题。

    报错日志:

    org.springframework.transaction.CannotCreateTransactionException: Could not open JPA EntityManager for transaction; nested exception is javax.persistence.PersistenceException: org.hibernate.TransactionException: JDBC begin transaction failed: 
    	at org.springframework.orm.jpa.JpaTransactionManager.doBegin(JpaTransactionManager.java:428)
    	at org.springframework.transaction.support.AbstractPlatformTransactionManager.getTransaction(AbstractPlatformTransactionManager.java:372)
    	at org.springframework.transaction.interceptor.TransactionAspectSupport.createTransactionIfNecessary(TransactionAspectSupport.java:417)
    	at org.springframework.transaction.interceptor.TransactionAspectSupport.invokeWithinTransaction(TransactionAspectSupport.java:255)
    	at org.springframework.transaction.interceptor.TransactionInterceptor.invoke(TransactionInterceptor.java:94)
    	at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:172)
    	at org.springframework.aop.framework.CglibAopProxy$DynamicAdvisedInterceptor.intercept(CglibAopProxy.java:631)
    	at com.appcarcare.cube.service.UserService$$EnhancerByCGLIB$$a4429cba.getUserDao(<generated>)
    
    	at com.appcarcare.cube.servlet.DataCenterServlet$SqlTimer.connectSql(DataCenterServlet.java:76)
    	at com.appcarcare.cube.servlet.DataCenterServlet$SqlTimer.run(DataCenterServlet.java:70)
    	at java.util.TimerThread.mainLoop(Timer.java:555)
    	at java.util.TimerThread.run(Timer.java:505)
    Caused by: javax.persistence.PersistenceException: org.hibernate.TransactionException: JDBC begin transaction failed: 
    	at org.hibernate.ejb.AbstractEntityManagerImpl.convert(AbstractEntityManagerImpl.java:1387)
    	at org.hibernate.ejb.AbstractEntityManagerImpl.convert(AbstractEntityManagerImpl.java:1310)
    
    	at org.hibernate.ejb.AbstractEntityManagerImpl.throwPersistenceException(AbstractEntityManagerImpl.java:1397)
    	at org.hibernate.ejb.TransactionImpl.begin(TransactionImpl.java:62)
    	at org.springframework.orm.jpa.DefaultJpaDialect.beginTransaction(DefaultJpaDialect.java:71)
    	at org.springframework.orm.jpa.vendor.HibernateJpaDialect.beginTransaction(HibernateJpaDialect.java:60)
    	at org.springframework.orm.jpa.JpaTransactionManager.doBegin(JpaTransactionManager.java:378)
    	... 11 more
    Caused by: org.hibernate.TransactionException: JDBC begin transaction failed: 
    	at org.hibernate.engine.transaction.internal.jdbc.JdbcTransaction.doBegin(JdbcTransaction.java:76)
    	at org.hibernate.engine.transaction.spi.AbstractTransactionImpl.begin(AbstractTransactionImpl.java:160)
    
    	at org.hibernate.internal.SessionImpl.beginTransaction(SessionImpl.java:1426)
    	at org.hibernate.ejb.TransactionImpl.begin(TransactionImpl.java:59)
    	... 14 more
    Caused by: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure
    
    The last packet successfully received from the server was 1,836,166 milliseconds ago.  The last packet sent successfully to the server was 29,134 milliseconds ago.
    	at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
    	at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)
    	at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
    	at java.lang.reflect.Constructor.newInstance(Constructor.java:526)
    	at com.mysql.jdbc.Util.handleNewInstance(Util.java:411)
    	at com.mysql.jdbc.SQLError.createCommunicationsException(SQLError.java:1117)
    	at com.mysql.jdbc.MysqlIO.reuseAndReadPacket(MysqlIO.java:3567)
    	at com.mysql.jdbc.MysqlIO.reuseAndReadPacket(MysqlIO.java:3456)
    
    	at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3997)
    	at com.mysql.jdbc.MysqlIO.sendCommand(MysqlIO.java:2468)
    	at com.mysql.jdbc.MysqlIO.sqlQueryDirect(MysqlIO.java:2629)
    	at com.mysql.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:2713)
    	at com.mysql.jdbc.ConnectionImpl.setAutoCommit(ConnectionImpl.java:5060)
    	at com.mchange.v2.c3p0.impl.NewProxyConnection.setAutoCommit(NewProxyConnection.java:881)
    	at org.hibernate.engine.transaction.internal.jdbc.JdbcTransaction.doBegin(JdbcTransaction.java:72)
    
    	... 17 more
    Caused by: java.net.SocketException: Software caused connection abort: recv failed
    	at java.net.SocketInputStream.socketRead0(Native Method)
    	at java.net.SocketInputStream.read(SocketInputStream.java:150)
    	at java.net.SocketInputStream.read(SocketInputStream.java:121)
    	at com.mysql.jdbc.util.ReadAheadInputStream.fill(ReadAheadInputStream.java:114)
    	at com.mysql.jdbc.util.ReadAheadInputStream.readFromUnderlyingStreamIfNecessary(ReadAheadInputStream.java:161)
    	at com.mysql.jdbc.util.ReadAheadInputStream.read(ReadAheadInputStream.java:189)
    	at com.mysql.jdbc.MysqlIO.readFully(MysqlIO.java:3014)
    	at com.mysql.jdbc.MysqlIO.reuseAndReadPacket(MysqlIO.java:3467)
    	... 25 more


    原因分析:

    MySQLserver默认的“wait_timeout”是28800秒即8小时,意味着假设一个连接的空暇时间超过8个小时。MySQL将自己主动断开该连接,而连接池却觉得该连接还是有效的(由于并未校验连接的有效性),当应用申请使用该连接时,就会导致上面的报错。

    解决方式(解决问题的办法有三种,推荐另外一种):

    1. 添加 MySQL 的 wait_timeout 属性的值 

    改动mysql安装文件夹下的配置文件 my.ini文件(假设没有此文件, 复制“my-default.ini”文件,生成“复件 my-default.ini”文件。 将“复件 my-default.ini”文件重命名成“my.ini” ),在文件里设置: 
    wait_timeout=31536000
    interactive_timeout=31536000
    这两个參数的默认值是8小时(60*60*8=28800)。
    注意: 1.wait_timeout的最大值仅仅同意2147483 (24天左右)
    2.改动配置文件为网上大部分文章所提供的方式,也能够使用mysql命令对这两个属性进行改动


    2. 降低连接池内连接的生存周期

    降低连接池内连接的生存周期, 使之小于 上一项中所设置的 wait_timeout 的值  
    改动 c3p0 的配置文件。 在 Spring 的配置文件里设置:
    	<bean id="dataSource"  class="com.mchange.v2.c3p0.ComboPooledDataSource">  	
    	<property name="maxIdleTime"value="1800"/>  
    	<!--other properties -->  
    	</bean>

    3. 定期使用连接池内的连接

    定期使用连接池内的连接,使得它们不会由于闲置超时而被 MySQL 断开。 
    改动 c3p0 的配置文件,在  Spring 的配置文件里设置:
            <bean id="dataSource" class="com.mchange.v2.c3p0.ComboPooledDataSource">  
    	<property name="preferredTestQuery" value="SELECT 1"/>  
    	<property name="idleConnectionTestPeriod" value="18000"/>  
    	<property name="testConnectionOnCheckout" value="true"/>  
    	</bean>

    知识扩展

    C3P0

    C3P0是一个开放源码的JDBC连接池,它在lib文件夹中与Hibernate一起公布,包含了实现jdbc3和jdbc2扩展规范说明的Connection 和Statement 池的DataSources 对象。 c3p0配置文件

    <default-config> 
      <!--当连接池中的连接耗尽的时候c3p0一次同一时候获取的连接数。Default: 3 --> 
      <property name="acquireIncrement">3</property> 
      <!--定义在从数据库获取新连接失败后反复尝试的次数。Default: 30 --> 
      <property name="acquireRetryAttempts">30</property> 
      <!--两次连接中间隔时间,单位毫秒。

    Default: 1000 -->   <property name="acquireRetryDelay">1000</property>   <!--连接关闭时默认将全部未提交的操作回滚。Default: false -->   <property name="autoCommitOnClose">false</property>   <!--c3p0将建一张名为Test的空表,并使用其自带的查询语句进行測试。假设定义了这个參数那么   属性preferredTestQuery将被忽略。你不能在这张Test表上进行不论什么操作。它将仅仅供c3p0測试   使用。

    Default: null-->   <property name="automaticTestTable">Test</property>   <!--获取连接失败将会引起全部等待连接池来获取连接的线程抛出异常。

    可是数据源仍有效   保留,并在下次调用getConnection()的时候继续尝试获取连接。假设设为true,那么在尝试   获取连接失败后该数据源将申明已断开并永久关闭。Default: false-->   <property name="breakAfterAcquireFailure">false</property>   <!--当连接池用完时client调用getConnection()后等待获取新连接的时间,超时后将抛出   SQLException,如设为0则无限期等待。单位毫秒。

    Default: 0 -->   <property name="checkoutTimeout">100</property>   <!--通过实现ConnectionTester或QueryConnectionTester的类来測试连接。

    类名需制定全路径。

      Default: com.mchange.v2.c3p0.impl.DefaultConnectionTester-->   <property name="connectionTesterClassName"></property>   <!--指定c3p0 libraries的路径。假设(通常都是这样)在本地就可以获得那么无需设置,默认null就可以   Default: null-->   <property name="factoryClassLocation">null</property>   <!--Strongly disrecommended. Setting this to true may lead to subtle and bizarre bugs.   (文档原文)作者强烈建议不使用的一个属性-->   <property name="forceIgnoreUnresolvedTransactions">false</property>   <!--每60秒检查全部连接池中的空暇连接。

    Default: 0 -->   <property name="idleConnectionTestPeriod">60</property>   <!--初始化时获取三个连接。取值应在minPoolSize与maxPoolSize之间。Default: 3 -->   <property name="initialPoolSize">3</property>   <!--最大空暇时间,60秒内未使用则连接被丢弃。

    若为0则永不丢弃。Default: 0 -->   <property name="maxIdleTime">60</property>   <!--连接池中保留的最大连接数。

    Default: 15 -->   <property name="maxPoolSize">15</property>   <!--JDBC的标准參数,用以控制数据源内载入的PreparedStatements数量。

    但因为预缓存的statements   属于单个connection而不是整个连接池。

    所以设置这个參数须要考虑到多方面的因素。   假设maxStatements与maxStatementsPerConnection均为0,则缓存被关闭。

    Default: 0-->   <property name="maxStatements">100</property>   <!--maxStatementsPerConnection定义了连接池内单个连接所拥有的最大缓存statements数。Default: 0 -->   <property name="maxStatementsPerConnection"></property>   <!--c3p0是异步操作的。缓慢的JDBC操作通过帮助进程完毕。

    扩展这些操作能够有效的提升性能   通过多线程实现多个操作同一时候被运行。Default: 3-->   <property name="numHelperThreads">3</property>   <!--当用户调用getConnection()时使root用户成为去获取连接的用户。主要用于连接池连接非c3p0   的数据源时。Default: null-->   <property name="overrideDefaultUser">root</property>   <!--与overrideDefaultUser參数相应使用的一个參数。Default: null-->   <property name="overrideDefaultPassword">password</property>   <!--密码。Default: null-->   <property name="password"></property>   <!--定义全部连接測试都运行的測试语句。

    在使用连接測试的情况下这个一显著提高測试速度。注意:   測试的表必须在初始数据源的时候就存在。

    Default: null-->   <property name="preferredTestQuery">select id from test where id=1</property>   <!--用户改动系统配置參数运行前最多等待300秒。

    Default: 300 -->   <property name="propertyCycle">300</property>   <!--因性能消耗大请仅仅在须要的时候使用它。

    假设设为true那么在每一个connection提交的   时候都将校验其有效性。建议使用idleConnectionTestPeriod或automaticTestTable   等方法来提升连接測试的性能。Default: false -->   <property name="testConnectionOnCheckout">false</property>   <!--假设设为true那么在取得连接的同一时候将校验连接的有效性。Default: false -->   <property name="testConnectionOnCheckin">true</property>   <!--username。

    Default: null-->   <property name="user">root</property>   在Hibernate(spring管理)中的配置:   <bean id="dataSource" class="com.mchange.v2.c3p0.ComboPooledDataSource" destroy-method="close">   <property name="driverClass"><value>oracle.jdbc.driver.OracleDriver</value></property>   <property name="jdbcUrl"><value>jdbc:oracle:thin:@localhost:1521:Test</value></property>   <property name="user"><value>Kay</value></property>   <property name="password"><value>root</value></property>   <!--连接池中保留的最小连接数。-->   <property name="minPoolSize" value="10" />   <!--连接池中保留的最大连接数。

    Default: 15 -->   <property name="maxPoolSize" value="100" />   <!--最大空暇时间,1800秒内未使用则连接被丢弃。

    若为0则永不丢弃。

    Default: 0 -->   <property name="maxIdleTime" value="1800" />   <!--当连接池中的连接耗尽的时候c3p0一次同一时候获取的连接数。Default: 3 -->   <property name="acquireIncrement" value="3" />   <property name="maxStatements" value="1000" />   <property name="initialPoolSize" value="10" />   <!--每60秒检查全部连接池中的空暇连接。Default: 0 -->   <property name="idleConnectionTestPeriod" value="60" />   <!--定义在从数据库获取新连接失败后反复尝试的次数。

    Default: 30 -->   <property name="acquireRetryAttempts" value="30" />   <property name="breakAfterAcquireFailure" value="true" />   <property name="testConnectionOnCheckout" value="false" />   </bean>   ###########################   ### C3P0 Connection Pool###   ###########################   #hibernate.c3p0.max_size 2   #hibernate.c3p0.min_size 2   #hibernate.c3p0.timeout 5000   #hibernate.c3p0.max_statements 100   #hibernate.c3p0.idle_test_period 3000   #hibernate.c3p0.acquire_increment 2   #hibernate.c3p0.validate false   在hibernate.cfg.xml文件中面增加例如以下的配置:   <!-- 最大连接数 -->   <property name="hibernate.c3p0.max_size">20</property>   <!-- 最小连接数 -->   <property name="hibernate.c3p0.min_size">5</property>   <!-- 获得连接的超时时间,假设超过这个时间,会抛出异常。单位毫秒 -->   <property name="hibernate.c3p0.timeout">120</property>   <!-- 最大的PreparedStatement的数量 -->   <property name="hibernate.c3p0.max_statements">100</property>   <!-- 每隔120秒检查连接池里的空暇连接 。单位是秒-->   <property name="hibernate.c3p0.idle_test_period">120</property>   <!-- 当连接池里面的连接用完的时候,C3P0一下获取的新的连接数 -->   <property name="hibernate.c3p0.acquire_increment">2</property>   <!-- 每次都验证连接是否可用 -->   <property name="hibernate.c3p0.validate">true</property>


    使用DBCP连接池时出现MySql 8小时断开连接的解决方法

    改动l配置文件:
    改动例如以下:

    <data-sources>
            <data-source key="org.apache.struts.action.DATA_SOURCE"                             type="org.apache.commons.dbcp.BasicDataSource">
            <set-property property="driverClassName" value="com.mysql.jdbc.Driver" />
            <set-property property="description" value="wjjg" />
            <set-property property="url" value="jdbc:mysql://localhost/wjjg?

    useUnicode=true&characterEncoding=GB2312" /> <set-property property="password" value="12345678" /> <set-property property="username" value="wjjg" /> <set-property property="maxActive" value="10" /> <set-property property="maxIdle" value="60000" /> <set-property property="maxWait" value="60000" /> <set-property property="defaultAutoCommit" value="true" /> <set-property property="defaultReadOnly" value="false" /> <set-property property="testOnBorrow" value="true"/> <set-property property="validationQuery" value="select 1"/> </data-source>

            当中 testOnBorrow validationQuery 非常重要。


    testOnBorrow的意思是从数据库连接池中取得连接时,对其的有效性进行检查。

    validationQuery 是用来检查的SQL语句,“select 1”运行较快。是一个不错的检測语句。

    回想

    当測试人员反映到这个问题的时候。非常快就锁定了Mysql八小时的问题。可是解决方式却费了我不小功夫。先是考虑到改动mysql配置文件肯定是不太合理的。弃之。

    然后想了一下在一个servlet中写了个定时器,让它每两小时查一下数据库,执行了几天发现问题仍然存在,将定时器间隔时间改动为30分钟、3分钟仍然无济于事,异常照常出现,弃之。

    在网上搜了一下解决方式也挺多。把

    <set-property property="testOnBorrow" value="true"/>
            <set-property property="validationQuery" value="select 1"/>

    写入到配置文件里,执行报错。说bean中没有这两个属性,查看了一下原来是我用的c3p0连接池。而这个解决方式是针对DBCP连接池的。

    最后在配置文件里。加入了

    <property name="maxIdleTime"value="1800"/>

    成功攻克了问题。

    感悟,问题非常easy。就是改个配置文件。可是遇到问题须要高速解决这个问题的能力,更须要认真的态度。



    哎...今天够累的,签到来了1...
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    QQ|手机版|小黑屋|Java自学者论坛 ( 声明:本站文章及资料整理自互联网,用于Java自学者交流学习使用,对资料版权不负任何法律责任,若有侵权请及时联系客服屏蔽删除 )

    GMT+8, 2024-12-22 19:43 , Processed in 0.062267 second(s), 30 queries .

    Powered by Discuz! X3.4

    Copyright © 2001-2021, Tencent Cloud.

    快速回复 返回顶部 返回列表