Java自学者论坛

 找回密码
 立即注册

手机号码,快捷登录

恭喜Java自学者论坛(https://www.javazxz.com)已经为数万Java学习者服务超过8年了!积累会员资料超过10000G+
成为本站VIP会员,下载本站10000G+会员资源,会员资料板块,购买链接:点击进入购买VIP会员

JAVA高级面试进阶训练营视频教程

Java架构师系统进阶VIP课程

分布式高可用全栈开发微服务教程Go语言视频零基础入门到精通Java架构师3期(课件+源码)
Java开发全终端实战租房项目视频教程SpringBoot2.X入门到高级使用教程大数据培训第六期全套视频教程深度学习(CNN RNN GAN)算法原理Java亿级流量电商系统视频教程
互联网架构师视频教程年薪50万Spark2.0从入门到精通年薪50万!人工智能学习路线教程年薪50万大数据入门到精通学习路线年薪50万机器学习入门到精通教程
仿小米商城类app和小程序视频教程深度学习数据分析基础到实战最新黑马javaEE2.1就业课程从 0到JVM实战高手教程MySQL入门到精通教程
查看: 952|回复: 0

Java应用多机器部署定时任务解决方案

[复制链接]
  • TA的每日心情
    奋斗
    2024-4-6 11:05
  • 签到天数: 748 天

    [LV.9]以坛为家II

    2034

    主题

    2092

    帖子

    70万

    积分

    管理员

    Rank: 9Rank: 9Rank: 9

    积分
    705612
    发表于 2021-9-5 12:10:52 | 显示全部楼层 |阅读模式

    Java多机部署下定时任务的处理方案。

    本文转自:http://www.cnblogs.com/xunianchong/p/6958548.html

    需求: 有两台服务器同时部署了同一套代码, 代码中写有spring自带的定时任务,但是每次执行定时任务时只需要一台机器去执行。

    当拿到这个需求时我脑子中立马出现了两个简单的解决方案:

    • 利用ip进行判断, 两台机器ip肯定不一样, 指定某一台机器的ip运行。
    • 只在一台机器上部署定时任务的代码。

    最后两个方案又都被自己否决了。 第一条,如果指定ip的机器出现了问题怎么办? 例如说宕机了, 那么该制定ip的机器上的定时任务是不是就无法运行了?如果以后该服务器迁移导致ip变化怎么办? 
    第二条, 同上, 还有就是要维护两套代码很不方便。

    因为上面两个假设都不成立, 只能另找他法。 于是便想到利用mysql去解决, 之前了解过一点mysql的锁机制, 知道如果有同时的两个任务去写数据库中同一条记录, 只有一条会成功, 这是利用了mysql的排他锁。(详细内容可以看下我的这篇文章:MySQL中的共享锁与排他锁)

    下面就开始代码演示, 这里主要想给大家的是一个思路的提示, 代码还是很简单的。

     

    • 首先需要单独创建一张表
      CREATE TABLE `t_schedule_cluster` (
        `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT '@cname:主键',
        `execute` int(1) NOT NULL COMMENT '@cname:执行状态',
        `version` int(11) NOT NULL COMMENT '@cname:版本号\r\n            ',
        `task_name` varchar(128) NOT NULL COMMENT '@cname:任务名称\r\n            ',
        `execute_ip` varchar(32) DEFAULT NULL COMMENT '@cname:执行ip\r\n            ',
        `update_time` datetime DEFAULT NULL COMMENT '@cname:修改时间\r\n            ',
        PRIMARY KEY (`id`),
        KEY `Index_series_id` (`execute`)
      ) ENGINE=InnoDB AUTO_INCREMENT=8 DEFAULT CHARSET=utf8 COMMENT='@cname:多机定时任务调度';

      看一下建成后的表结构, 注释写的已经很清楚了, 初始化时需要添加一些定时任务的名称(task_name), 这个要和你代码中保持一致, 后面会提到: 

        • 代码 
          首先看下我代码中用到的spring定时任务:
      <?xml version="1.0" encoding="UTF-8"?>
      <beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
             xmlns:task="http://www.springframework.org/schema/task"
             xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-3.2.xsd
          http://www.springframework.org/schema/task http://www.springframework.org/schema/task/spring-task-3.2.xsd"
             default-lazy-init="true">
          <description>使用Spring的 Scheduled的定时任务配置</description>
          <!--支持annotation的方式-->
          <task:annotation-driven  />
          <task:scheduler id="springScheduler"  pool-size="10"/>
          <task:scheduled-tasks scheduler="springScheduler">
              <!-- 测试使用, 项目启动后每隔一分钟执行一次 -->
              <task:scheduled ref="listCarAction" method="listCar" cron="0 0/1 0 * * ?"/>
              <task:scheduled ref="listCarAction" method="listCar" cron="0 0/1 0 * * ?"/>
          </task:scheduled-tasks>
      </beans>

      相信大家都是用过这种定时任务的设置方法, 因为它是spring自带的, 所以使用起来很方便, 这里我指定了两个定时任务来模拟两台机器的情况, 两个定时任务都是项目启动后每隔一分钟执行一次。

      然后看看这个listCar中的代码:

      //定时任务的名称, 这个和数据库中的task_name是保持一致的, 保证要执行该定时任务。
      public static final String LIST_CAR_TASK = "listCarTask";
      private ScheduleClusterTask scheduleClusterTask;
      //这个时间是根据spring-scheduler.xml中配置的定时刷新时间, 比如说我们以后要设置这个定时任务时4小时刷新一次
      public static final long maxExpireTime = 4 * 3600;
       
      public void listCar() {
              if (scheduleClusterTask.isValidMachine(maxExpireTime, CommonConstants.ScheduleTaskName.LIST_CAR_TASK)) {
                  //执行具体的task方法, 
                  doTask();
                  //将execute状态更新为0
                  scheduleClusterTask.end(LIST_CAR_TASK);
              }
          }

      最后看下最核心的代码:ScheduleClusterTask.java

      /**
       * 多机定时任务工具类
       */
      @Service
      public class ScheduleClusterTask {
       
          private ScheduleClusterEntityService scheduleClusterEntityService;
       
          /**
           * 这里因为两台机器都有同样的定时任务, 会同时执行这个方法,只有一台机器可以执行成功,返回true。
           * @param maxExpireTime 最大的检查时间。
           * @param taskName 任务名称。
           * @return
           */
          public boolean isValidMachine(long maxExpireTime, String taskName) {
              boolean isValid = false;
              try {
                  //通过taskName去数据库中查找到该条记录, 如果大家使用的是mybatis这里需要改一下, 就是一个简单的查询操作
                  ScheduleClusterEntity carIndexEntity = scheduleClusterEntityService.findOne(ScheduleClusterEntity.Fields.taskName.eq(taskName));
                  int execute = carIndexEntity.getExecute();
                  String ip = InetAddress.getLocalHost().getHostAddress();
                  long currentTimeMillis = System.currentTimeMillis();
                  long time = carIndexEntity.getUpdateTime().getTime();
                  if (execute == 0 && time + maxExpireTime - 1000 < currentTimeMillis) {
                      isValid = checkMachine(taskName, carIndexEntity, ip);
                  } else if (time + maxExpireTime - 1000 < currentTimeMillis){
                      //这里要判断下, 如果上一次执行出现异常导致execute没有更新为0, 那么这里要判断上一次更新时间的间隔。
                      isValid = checkMachine(taskName, carIndexEntity, ip);
                  }
              } catch (UnknownHostException e) {
                  e.printStackTrace();
              }
              return isValid;
          }
          /**
           * end方法主要是将excute(是否正在执行的标志位,0:没有执行, 1:正在执行)更新为0
           * @param taskName
           * @return
           */
          public boolean end (String taskName) {
              ScheduleClusterEntity carIndexEntity = scheduleClusterEntityService.findOne(ScheduleClusterEntity.Fields.taskName.eq(taskName));
              //将execute状态更新为0
              return scheduleClusterEntityService.end(carIndexEntity);
          }
          private boolean checkMachine(String taskName, ScheduleClusterEntity carIndexRefresh, String ip) {
              return scheduleClusterEntityService.start(taskName, carIndexRefresh.getVersion(), ip);
          }
          @Autowired
          public void setScheduleClusterEntityService(ScheduleClusterEntityService scheduleClusterEntityService) {
              this.scheduleClusterEntityService = scheduleClusterEntityService;
          }
      }

      这里还有start方法, 看看怎样的操作:

      @Repository
      public class DefaultScheduleClusterEntityDao extends AbstractDao<ScheduleClusterEntity> implements ScheduleClusterEntityDao {
          @Override
          public boolean start(String taskName, int version, String ip) {
              String sql = "update t_schedule_cluster set execute = 1, " +
                      "version = ?, execute_ip = ?, update_time = ?" +
                      " where task_name = ? and version = ?";
              Sql s = new Sql(sql);
              s.addParam(version + 1);
              s.addParam(ip);
              s.addParam(SqlTimeUtils.nowTimestamp());
              s.addParam(taskName);
              s.addParam(version);
              return 1 == executeUpdate(s);
          }
      }

      核心的代码到了这里就没有了, 代码确实是非常非常的简单, 有兴趣的话大家可以在本地测试一下就可以。 
      当然还有更多很好地解决方案, 我这里秉承的是最简单的处理方式, 如果大家对我这个方案有疑问或者做的不好的地方都希望大家能够提出来, 谢谢了, 最后贴上两个其他的解决方案: 
      Java通过redis管理你的集群定时任务:http://www.jianshu.com/p/48c5b11b80cd
      Quartz在Spring中集群: http://sundoctor.iteye.com/blog/486055

    集群服务器下使用SpringBoot @Scheduled注解定时任务:https://blog.csdn.net/huyang1990/article/details/78551578?utm_source=blogxgwz0

    哎...今天够累的,签到来了1...
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    QQ|手机版|小黑屋|Java自学者论坛 ( 声明:本站文章及资料整理自互联网,用于Java自学者交流学习使用,对资料版权不负任何法律责任,若有侵权请及时联系客服屏蔽删除 )

    GMT+8, 2024-5-5 00:35 , Processed in 0.076890 second(s), 29 queries .

    Powered by Discuz! X3.4

    Copyright © 2001-2021, Tencent Cloud.

    快速回复 返回顶部 返回列表