在开发后台与任务相关的功能中,遇到一个需求:用户需要能够为任务配置定时策略,使任务定时执行某个操作。
需求分析
根据需求,我们可以拆解成如下几个步骤:
- 「某个操作」的实现
- 配置为定时任务
- 定时策略可配置
- 用户体验好
其中步骤 1 与本文无关不提;对于定时任务的实现,在上节Celery异步任务队列 有简单提到 celery 也支持定时任务。
Celery 的定时任务策略配置于代码中,在启动 celery 时写入本地shelve 文件,不利于管理。
因此在 celery 的文档中也提到一个扩展模块 django-celery-beat
,该模块将定时任务的配置写入 Django 配置的数据库中,当程序启动后可以通过 admin
后台进行管理,并且可以直接通过 ORM 对定时任务配置进行修改,无需修改代码然后重启 celery,符合我们预期。
当然还有很多其他库也能实现,因为我们已经使用 celery 执行异步任务,所以本文还是用 django-celery-beat
解决问题。
Celery 的定时任务使用的是类似 crontab
的语法,因此在用户体验上,要考虑普通用户的学习成本,可以提供一些常用的配置,例如每周的工作日每天 1 点执行任务;也要考虑后期的扩展性,可以提供输入框方便配置。
设计与实现
基本用法
定时策略(CrontabSchedule)
CrontabSchedule
支持类 crontab 语法,同样是 5 个配置域,分别为:
- 分
- 时
- 每周中的天
- 每月中的天
- 每年中的月
每个配置域使用空格隔开。
对每个配置域常用语法:
*
: 范围内的所有值M-N
: M到N之间的值M-N/X
或*/X
: 每X分钟、每X天等等A,B,...,Z
: 枚举的值
举个例子: 每个工作日1点执行: 0 1 1-5 * *
创建定时策略代码如下:
from django_celery_beat.models import CrontabSchedule, PeriodicTask > schedule, _ = CrontabSchedule.objects.get_or_create( ... minute='30', ... hour='*', ... day_of_week='*', ... day_of_month='*', ... month_of_year='*', ... )
定时任务
定时任务可以依赖不同的定时策略,例如 crontab, interval 等,创建时指定 schedule
即可。以 crontab 定时任务为例:
> import json > from datetime import datetime, timedelta > PeriodicTask.objects.create( ... crontab=schedule, # we created this above. ... name='Importing contacts', # simply describes this periodic task. ... task='proj.tasks.import_contacts', # name of task. ... args=json.dumps(['arg1', 'arg2']), ... kwargs=json.dumps({ ... 'be_careful': True, ... }), ... expires=datetime.utcnow() + timedelta(seconds=30) ... )
其中 name
为定时任务的名称,每个任务名必须唯一; task
为需要执行的 celery 任务。加上定时策略调度器,这三个是一个定时任务所必须的属性。
定时任务还有其他配置,如 args
/ kwargs
对应一个 celery 任务的入参; expires
设置了该定时任务的过期时间。
Django配置
最基础的配置只需要在 INSTALLED_APPS
中添加引用,并设置定时任务调度器即可:
settings.py
INSTALLED_APPS = [ ... 'django_celery_beat' ] # 配置 celery 定时任务使用的调度器 CELERY_BEAT_SCHEDULER = 'django_celery_beat.schedulers:DatabaseScheduler'
时区问题
在使用 django-celery-beat
过程中遇到两个关于时区的问题:
创建的定时任务,实际触发时间与配置的时间存在8小时时间差
解决方案:
8小时明显是因为时区不同导致,而 django-celery-beat
对时区的处理似乎总有问题(若不对请指教)。
修改 settings.py
中的时区配置:
settings.py
# 设置 Django 大部分应用通用的时区 TIME_ZONE = 'Asia/Shanghai' # 关闭 UTC USE_TZ = False CELERY_ENABLE_UTC = False # 设置 django-celery-beat 真正使用的时区 CELERY_TIMEZONE = TIME_ZONE # 使用 timezone naive 模式 DJANGO_CELERY_BEAT_TZ_AWARE = False
关于 timezone naive 与 timezone aware 模式的区别可以参考文章:Django时区详解
简单来说就是,naive 模式不存储时区信息,只存储经过时区转换后的时间;反之 aware 模式则存储了 UTC 时间和 UTC 时区信息。
根据文档,在修改了时区后,需要将已执行过的定时任务的 last_run_at
重置为 None
:
python manage.py shell > from django_celery_beat.models import PeriodicTask > PeriodicTask.objects.all().update(last_run_at=None)
修改完成后,重启 celery beat
。
PS: 就算是经过这样配置,我也仍然遇到了任务不断执行的问题,并且在我多次重启 celery 后不再复现,因此本配置可能还有问题。
数据库中, CrontabSchedule
的 timezone
配置始终是 UTC
解决方案:
查看 CrontabSchedule
模型的源码,找到数据库中 timezone
字段的属性:
class CrontabSchedule(models.Model): ... timezone = timezone_field.TimeZoneField( default='UTC', verbose_name=_('Cron Timezone'), help_text=_( 'Timezone to Run the Cron Schedule on. Default is UTC.'), )
由于我们在创建 CrontabSchedule
实例时并未指定 timezone
,因此在创建任务时,添加该字段的配置即可:
from django_celery_beat.models import CrontabSchedule > schedule, _ = CrontabSchedule.objects.get_or_create( ... minute='30', ... hour='*', ... day_of_week='*', ... day_of_month='*', ... month_of_year='*', ... timezone='Asia/Shanghai' ... )
*业务前后端设计
本节内容仅供参考,不一定适用其他场景。
前端
设计前端定时任务配置项,包含一个开关,一个三选一单选组件,以及一个输入框:
为了方便非技术人员设置定时任务,优化用户体验,定时任务除了「自定义」的输入模式,还有一个「每天」与「每周」的选项:
- 每天:0 1 1-5 * *
- 每周:0 1 1 * *
单选框与字符串双向绑定,在后端返回上面两个字符串之一时选中每天或每周,否则选中自定义选项。
后端
假设对于我的业务来说,前端需要的任务数据字段为:
{ "task_id": 1, "is_periodic_task": true, "periodic_task_id": 1, "crontab": "* * * * *" }
ER 模型如图:
返回给前端的数据中,若 periodic_task
不为空,则 is_periodic_task
为 True
,并通过 periodic_task.crontab_id
获取到 CrontabSchedule
实例,转化为字符串返回。
要注意, CrontabSchedule
的 __str__
方法除了返回 crontab
配置,还会返回时区等信息,而这些信息前端展示时并不需要。
因此可以新建一个方法:
def get_crontab_str(contab) -> str: """ 获取前端配置需要的 5 项值 :param contab: CrontabSchedule对象 :return: """ return '{0} {1} {2} {3} {4}'.format( cronexp(contab.minute), cronexp(contab.hour), cronexp(contab.day_of_week), cronexp(contab.day_of_month), cronexp(contab.month_of_year) )
序列化时调用该方法返回给前端即可。
修改任务
修改任务包括以下三种情况
- 从定时任务改为非定时任务
- 从非定时任务改为定时任务
- 在定时任务基础上修改定时策略
对应流程图如下:
1:
2, 3:
图中「修改配置中的」指前端传来的修改请求中的新配置信息
具体代码就不赘述,只提一下暂停定时任务的方法:
修改 PeriodicTask.objects.enabled
为 False/0
即可
> periodic_task.enabled = False > periodic_task.save()
版本说明
参考
http://docs.celeryproject.org/en/latest/userguide/periodic-tasks.html
https://django-celery-beat.readthedocs.io/en/latest/
https://docs.djangoproject.com/en/2.2/topics/i18n/timezones/
https://www.jb51.net/article/166085.htm
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
免责声明:本站文章均来自网站采集或用户投稿,网站不提供任何软件下载或自行开发的软件! 如有用户或公司发现本站内容信息存在侵权行为,请邮件告知! 858582#qq.com
稳了!魔兽国服回归的3条重磅消息!官宣时间再确认!
昨天有一位朋友在大神群里分享,自己亚服账号被封号之后居然弹出了国服的封号信息对话框。
这里面让他访问的是一个国服的战网网址,com.cn和后面的zh都非常明白地表明这就是国服战网。
而他在复制这个网址并且进行登录之后,确实是网易的网址,也就是我们熟悉的停服之后国服发布的暴雪游戏产品运营到期开放退款的说明。这是一件比较奇怪的事情,因为以前都没有出现这样的情况,现在突然提示跳转到国服战网的网址,是不是说明了简体中文客户端已经开始进行更新了呢?
更新日志
- 雨林唱片《赏》新曲+精选集SACD版[ISO][2.3G]
- 罗大佑与OK男女合唱团.1995-再会吧!素兰【音乐工厂】【WAV+CUE】
- 草蜢.1993-宝贝对不起(国)【宝丽金】【WAV+CUE】
- 杨培安.2009-抒·情(EP)【擎天娱乐】【WAV+CUE】
- 周慧敏《EndlessDream》[WAV+CUE]
- 彭芳《纯色角3》2007[WAV+CUE]
- 江志丰2008-今生为你[豪记][WAV+CUE]
- 罗大佑1994《恋曲2000》音乐工厂[WAV+CUE][1G]
- 群星《一首歌一个故事》赵英俊某些作品重唱企划[FLAC分轨][1G]
- 群星《网易云英文歌曲播放量TOP100》[MP3][1G]
- 方大同.2024-梦想家TheDreamer【赋音乐】【FLAC分轨】
- 李慧珍.2007-爱死了【华谊兄弟】【WAV+CUE】
- 王大文.2019-国际太空站【环球】【FLAC分轨】
- 群星《2022超好听的十倍音质网络歌曲(163)》U盘音乐[WAV分轨][1.1G]
- 童丽《啼笑姻缘》头版限量编号24K金碟[低速原抓WAV+CUE][1.1G]