Java自学者论坛

 找回密码
 立即注册

手机号码,快捷登录

恭喜Java自学者论坛(https://www.javazxz.com)已经为数万Java学习者服务超过8年了!积累会员资料超过10000G+
成为本站VIP会员,下载本站10000G+会员资源,会员资料板块,购买链接:点击进入购买VIP会员

JAVA高级面试进阶训练营视频教程

Java架构师系统进阶VIP课程

分布式高可用全栈开发微服务教程Go语言视频零基础入门到精通Java架构师3期(课件+源码)
Java开发全终端实战租房项目视频教程SpringBoot2.X入门到高级使用教程大数据培训第六期全套视频教程深度学习(CNN RNN GAN)算法原理Java亿级流量电商系统视频教程
互联网架构师视频教程年薪50万Spark2.0从入门到精通年薪50万!人工智能学习路线教程年薪50万大数据入门到精通学习路线年薪50万机器学习入门到精通教程
仿小米商城类app和小程序视频教程深度学习数据分析基础到实战最新黑马javaEE2.1就业课程从 0到JVM实战高手教程MySQL入门到精通教程
查看: 7151|回复: 0

Spring+quartz集群解决多服务器部署定时器重复执行的问题

[复制链接]
  • TA的每日心情
    奋斗
    2024-11-24 15:47
  • 签到天数: 804 天

    [LV.10]以坛为家III

    2053

    主题

    2111

    帖子

    72万

    积分

    管理员

    Rank: 9Rank: 9Rank: 9

    积分
    726782
    发表于 2021-4-7 10:23:03 | 显示全部楼层 |阅读模式

    一、问题描述

     

    Spring自带的Task虽然能很好使用定时任务,只需要做些简单的配置就可以了。不过如果部署在多台服务器上的时候,这样定时任务会在每台服务器都会执行,造成重复执行。

     

     

     

     

     

    二、解决方案

     

     

    Spring+quartz集群可以解决多服务器部署定时器重复执行的问题。

     

     

     

     

     

    1、下载quartz的Jar包或者在Maven项目加入quartz的依赖包

     

     

    不再细说,详情可参考:

     

     

    Spring4整合quartz2.2定时任务:http://fanshuyao.iteye.com/blog/2309223

     

     

     

     

     

    2、建立quartz表

     

     

    quartz是通过表来实现多服务器定时任务集群的,表的详细信息在压缩包:quartz-2.2.3-distribution.tar.gz,

     

     

    路径为:quartz-2.2.3-distribution\quartz-2.2.3\docs\dbTables

     

     

    这里有很多表的SQL可执行语句,直接复制执行即可。

     

     

    其中附件有quartz-2.2.3-distribution.tar.gz,是2016-07-07最新的。

     

     

     

     

     

    本人使用的是Mysql,执行的是tables_mysql_innodb.sql,另外一个tables_mysql.sql没执行,看都没有看,哈哈。

     

     

    注:最好先建完表,再执行后面的索引,不然会有警告。

     

     

    里面的表详细本人也不了解,就不说了,百度或Google吧。

     

     

     

     

     

    3、新增一个Bean文件(spring-quartz.xml),如下:

     

     

     

     

     

    Xml代码  

     

     

    <?xml version="1.0" encoding="UTF-8"?>
    <beans xmlns="http://www.springframework.org/schema/beans"
    	xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    	xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd">
    
    	<!-- 配置任务bean类 -->
    	<bean id="quartzTask" class="com.lqy.spring.task.QuartzTask"></bean>
    	
    	<!-- 配置方法映射工厂类 -->
    	<!-- MethodInvokingJobDetailFactoryBean不支持序列化 -->
    	<!-- <bean id="jobDetail" class="org.springframework.scheduling.quartz.MethodInvokingJobDetailFactoryBean">
    		<property name="targetObject" ref="quartzTask"></property>
    		<property name="targetMethod" value="startTask"></property>
    		<property name="concurrent" value="false"></property>
    		concurrent : false表示等上一个任务执行完后再开启新的任务
    	</bean> -->
    	<!-- 配置方法映射工厂类 -->
    	<bean id="jobDetail" class="org.springframework.scheduling.quartz.JobDetailFactoryBean">
    	    <property name="jobClass" value="com.lqy.spring.task.QuartzTaskExtends"></property>
    	    <property name="durability" value="true"></property>
    	    <property name="requestsRecovery" value="true" /> 
    	</bean>
    	
    	<!-- 配置任务高度的的时间/周期 -->
    	<bean id="jobTrigger" class="org.springframework.scheduling.quartz.CronTriggerFactoryBean">
    		<property name="jobDetail" ref="jobDetail"></property>
    		<property name="cronExpression" value="0 */1 * * * ?"></property>
    		<!-- <property name="startDelay" value="3000"></property> -->
    	</bean>
    	
    	<bean id="schedulerFactoryBean" class="org.springframework.scheduling.quartz.SchedulerFactoryBean">
    		<property name="dataSource" ref="dataSource"></property>  
    		<!--可选,QuartzScheduler 启动时更新己存在的Job,这样就不用每次修改targetObject后删除qrtz_job_details表对应记录了 -->    
            <property name="overwriteExistingJobs" value="true" />    
             <!--必须的,QuartzScheduler 延时启动,应用启动完后 QuartzScheduler 再启动 -->  
            <property name="startupDelay" value="30" />  
            <!-- 设置自动启动 -->  
            <property name="autoStartup" value="true" />
            <property name="applicationContextSchedulerContextKey" value="applicationContextKey" />  
            <property name="configLocation" value="classpath:spring-quartz.properties" />  
    		<property name="triggers">
    			<list>
    				<ref bean="jobTrigger"/>
    			</list>
    		</property>
    	</bean>
    	
    </beans>
    

     

     

     

     

     

    spring-quartz.xml文件里面主要配置的是定时任务

     

     

     

     

     

    其中和一般Spring整合quartz定时任务不同的是:

     

     

    (1)使用数据源:

     

     

    在Bean id="schedulerFactoryBean"中使用了数据源:

     

     

    Xml代码  

     

     

    <property name="dataSource" ref="dataSource"></property>  

     

     

     数据源dataSource是在Spring.xml文件配置的。

     

     

     

     

     

    (2)jobDetail使用的是org.springframework.scheduling.quartz.JobDetailFactoryBean

     

     

    由于集群需要把定时任务的信息写入表,需要序列化吧,但MethodInvokingJobDetailFactoryBean 不能序列化,会报错。

     

     

     

     

     

    (3)增加spring-quartz.properties文件

     

     

    Xml代码  

     

     

    #==============================================================  
    #Configure Main Scheduler Properties  
    #==============================================================   
    org.quartz.scheduler.instanceName = defaultScheduler
    org.quartz.scheduler.instanceId = AUTO
    
    #==============================================================  
    #Configure JobStore  
    #============================================================== 
    org.quartz.jobStore.class = org.quartz.impl.jdbcjobstore.JobStoreTX
    org.quartz.jobStore.driverDelegateClass = org.quartz.impl.jdbcjobstore.StdJDBCDelegate
    org.quartz.jobStore.tablePrefix = QRTZ_
    org.quartz.jobStore.isClustered = true
    org.quartz.jobStore.clusterCheckinInterval = 20000  
    org.quartz.jobStore.dataSource = myDS
    org.quartz.jobStore.maxMisfiresToHandleAtATime = 1
    org.quartz.jobStore.misfireThreshold = 120000
    org.quartz.jobStore.txIsolationLevelSerializable = true
     
    #==============================================================  
    #Configure ThreadPool  
    #============================================================== 
    org.quartz.threadPool.class = org.quartz.simpl.SimpleThreadPool
    org.quartz.threadPool.threadCount = 10
    org.quartz.threadPool.threadPriority = 5
    org.quartz.threadPool.threadsInheritContextClassLoaderOfInitializingThread = true
    
    #==============================================================
    #Skip Check Update
    #update:true
    #not update:false
    #==============================================================
    org.quartz.scheduler.skipUpdateCheck = true 
    
    #============================================================================   
    # Configure Plugins    
    #============================================================================      
    org.quartz.plugin.triggHistory.class = org.quartz.plugins.history.LoggingJobHistoryPlugin   
    org.quartz.plugin.shutdownhook.class = org.quartz.plugins.management.ShutdownHookPlugin
    org.quartz.plugin.shutdownhook.cleanShutdown = true
    

     

     

     

     

     

    这个配置文件也是Quartz的配置文件,本人也不了解,只是从网上搜索来的。本来是有数据库的连接配置的,但由于spring配置文件已经有数据源,我就删除掉了。

     

     

     

     

     

    4、把上面的spring-quartz.xml 引入到spring.xml文件中:

     

     

    Xml代码  

     

     

    <import resource="spring-quartz.xml"/>

     

     

     或者在web.xml文件加上,这种方法没有尝试,但应该是可以的:

     

     

    Xml代码

     

     

    <context-param>
        <param-name>contextConfigLocation</param-name>
        <param-value>classpath:spring.xml,classpath:spring-quartz.xml</param-value>
    </context-param>

     

     

     

     

     

    5、把项目部署到集群环境中

     

     

    其实就是把项目部署到2个Tomcat中,这样能看到定时任务是否重复执行。

     

     

    Tomcat+Nginx集群详情见:http://fanshuyao.iteye.com/blog/2309601

     

     

     

     

     

    6、启动所有Tomcat,看结果,如下:

     

     

     

     
     


     由图可见:定时器是每分钟的0秒执行一次

     

     

     

    在2个Tomcat中,分别是一个tomcat执行一次,另一个tomcat执行一次,没有重复执行,这样就达到了定时器的集群效果,成功。

     

     

    想到的其他方案

     

     

    1.全局锁机制

     

     

       对于只需要执行一次初始化的操作,在全局缓存中设置一个全局锁,拿到这个锁的节点执行相应的任务。

     

     

    2.数据库层面的状态标记

     

     

      对于有些定时任务,我们只希望执行一次,也就是说多个节点,只有一个节点在执行这个定时任务

     

     

      可以在数据库对这个任务进行状态标记,根据状态来调节节点间定时任务的执行

     

     

    3.代码分离

     

     

      如果有可能,将定时任务独立出来,成为一个单独的项目工程,部署单节点,避免集群部署

    4.设置执行定时任务的机器名,在代码中判断

     

     

    转自https://blog.csdn.net/edward1987815/article/details/80417564

    哎...今天够累的,签到来了1...
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    QQ|手机版|小黑屋|Java自学者论坛 ( 声明:本站文章及资料整理自互联网,用于Java自学者交流学习使用,对资料版权不负任何法律责任,若有侵权请及时联系客服屏蔽删除 )

    GMT+8, 2024-12-22 18:48 , Processed in 0.063874 second(s), 27 queries .

    Powered by Discuz! X3.4

    Copyright © 2001-2021, Tencent Cloud.

    快速回复 返回顶部 返回列表