Celery文档参考:http://docs.jinkan.org/docs/celery/
参考文章:https://www.jb51.net/article/158046.htm
Django中异步任务---django-celery
Celery简单介绍:
celery使用场景:
- 耗时任务定时任务
- 请求结果不怎么重要的
- 耗时任务比如:发送短信验证码我们可以先发送给客户任务状态(请求成功或失败)
- 请求结果重要的建议使用django实现 比如:支付
首先简单介绍一下,Celery 是一个强大的分布式任务队列,它可以让任务的执行完全脱离主程序,甚至可以被分配到其他主机上运行。我们通常使用它来实现异步任务(asynctask)和定时任务(crontab)。它的架构组成如下图
Celery 主要包含以下几个模块:
任务模块 Task
包含异步任务和定时任务。其中,异步任务通常在业务逻辑中被触发并发往任务队列,而定时任务由 Celery Beat 进程周期性地将任务发往任务队列。
消息中间件 Broker
Broker,即为任务调度队列,接收任务生产者发来的消息(即任务),将任务存入队列。Celery 本身不提供队列服务,官方推荐使用 RabbitMQ 和 Redis 等。
任务执行单元 Worker
Worker 是执行任务的处理单元,它实时监控消息队列,获取队列中调度的任务,并执行它。
任务结果存储 Backend
Backend 用于存储任务的执行结果,以供查询。同消息中间件一样,存储也可使用 RabbitMQ, Redis 和 MongoDB 等。
p>django-celery
首先需要统一一下使用的环境,以为如果redis的版本过高会报错
解决方法:建议降低redis版本
推荐版本
Django == 2.2.6
django-celery == 3.3.1
django-redis == 4.11.0
redis == 2.10.6
celery == 3.1.26.post2
1.修改setting.py django配置文件,增加如下:
import djcelery ###导包 djcelery.setup_loader() ### BROKER_URL = 'redis://127.0.0.1:6379/2' # BROKER_URL='redis://192.168.217.77:16379/2' #任何可用的redis都可以,不一定要在django server运行的主机上 CELERYBEAT_SCHEDULER = 'djcelery.schedulers.DatabaseScheduler' ### INSTALLED_APPS = [ ... "djcelery", # 加入djcelery应用 ... ] CELERY_TIMEZONE='Asia/Shanghai' #并没有北京时区,与下面TIME_ZONE应该一致 TIME_ZONE='Asia/Shanghai' #
开头增加如上配置文件,根据实际情况配置redis的地址和端口,时区一定要设置为Asia/Shanghai
。否则时间不准确回影响定时任务的运行。
上面代码首先导出djcelery模块,并调用setup_loader方法加载有关配置;注意配置时区,不然默认使用UTC时间会比东八区慢8个小时。其中INSTALLED_APPS末尾添加两项,分别表示添加celery服务和自己定义的apps服务。
2.创建Celery所需的数据表
python manage.py migrate #如若不成功可以尝试一下命令语句 #python manage.py syncdb
3.创建task
stasks.py
# -*- coding: utf-8 -*- import json, time from syl.settings import ALY_ACCESSKEY_ID, ALY_ACCESSKEY_SECRET from aliyunsdkcore.client import AcsClient from aliyunsdkcore.request import CommonRequest from celery import task # 阿里云短信验证码 @task def Celery_Send_Sms(phone, data): client = AcsClient(ALY_ACCESSKEY_ID, ALY_ACCESSKEY_SECRET, 'cn-hangzhou') request = CommonRequest() request.set_accept_format('json') request.set_domain('dysmsapi.aliyuncs.com') request.set_method('POST') request.set_protocol_type('https') # https | http request.set_version('2017-05-25') request.set_action_name('SendSms') request.add_query_param('RegionId', "cn-hangzhou") request.add_query_param('PhoneNumbers', phone) request.add_query_param('SignName', "美多商城") request.add_query_param('TemplateCode', "SMS_205397849") request.add_query_param('TemplateParam', data) response = client.do_action(request) time.sleep(10) print(str(response, encoding='utf-8')) res = json.loads(str(response, encoding='utf-8')) #celery运行命令 # python manage.py celery worker --loglevel=info
- settings.py中的djcelery.setup_loader()运行时, Celery便会查看所有INSTALLED_APPS中app目录中的tasks.py文件, 找到标记为task的function, 并将它们注册为celery task.
- 在执行djcelery.setup_loader()时, task是以INSTALLED_APPS中的app名, 加.tasks.function_name注册的
- 一次需要注意 在impprt task时, 需要保持一致
- 如果我们由于python path不同而使用不同的引用方式时(例如在tasks.py中使用from myproject.myapp.tasks import add形式), Celery将无法得知这是同一task, 因此可能会引起奇怪的bug。
让任务变成异步
例如我们希望在用户发出request后异步执行该task, 马上返回response, 从而不阻塞该request, 使用户有一个流畅的访问过程. 那么, 我们可以使用.delay。
views.py
import re import random from rest_framework.permissions import AllowAny from django_redis import get_redis_connection from rest_framework.views import APIView from rest_framework.response import Response # from utils.MyBaseView import send_message, Send_Sms from verifications.stasks import Celery_Send_Sms # 用户注册短信验证码 class SmsCodeView(APIView): '''使用apiview的限流''' # 1. 所有人可以访问 permission_classes = (AllowAny,) def post(self, request): # 1. 获取参数 phone = request.data.get('phone') # 手机号 image_code = request.data.get('image_code') # 字符串验证码 image_code_uuid = request.data.get('image_code_uuid') # 前端生成的uuid,是redis中图片验证码的key # 2. 检查参数 if not all([phone, image_code, image_code_uuid]): return Response({'code': 400, 'msg': '参数不全'}) # 检查手机号是否正确 if not re.match(r'^1[3456789]\d{9}$', phone): return Response({"code": 999, "msg": "手机号码不正确"}) # 3. 检查是否发送 redis_client = get_redis_connection('img_code') # 连接redis数据库 # phone_exists = redis_client.get(phone) # if phone_exists: # return Response({"code": 999, "msg": "频繁发送, 请稍后再试"}) # 4.检查图片验证码是否合法 redis_image_code = redis_client.get(image_code_uuid) # 字符串验证码 if redis_image_code: # bytes 转成 string redis_image_code = redis_image_code.decode() # 把uuid解码 # 比较用户提供的图片内容是否和redis中保存的一致 if image_code.upper() != redis_image_code: return Response({'code': 999, 'msg': '图片验证码不正确'}) # 5. 发送 code = '%06d' % random.randint(100000, 999999) # 随机6位验证码 print('code===============================================', code) # 使用容联云短信验证码 # send_resp = send_message(phone, (code, "5")) # 使用阿里云短信验证码 data = {'code': code} # send_resp = Send_Sms(phone, data) # 使用celery异步发送短信 Celery_Send_Sms.delay(phone, data) #delay是注册为celery异步任务的关键点 # Celery_Send_Sms(phone, data) # delay是注册为celery异步任务的关键点 # 5.1 保存code 到 redis中 redis_client.setex(phone, 60 * 5, code) # phone:code, 5分钟有效期 # 5.2 从redis中删除这个图片验证码, 以防再次被使用 redis_client.delete(image_code_uuid) # 6.存储这个已经发送验证码的手机号,防止频繁发送(使用pipeline 批量操作 ) pl = redis_client.pipeline() pl.setex(phone, 60 * 5, code) pl.delete(image_code_uuid) pl.execute() # 7. 返回结果 return Response({"code": 200, "msg": "短信发送成功"})
1.启动celery
首先正常启动你的django任务,然后启动celery服务即可。
python manage.py celery worker --loglevel=info
出现上图这个报错不让超级管理员来启动,在settings.py加入以下配置
from celery import Celery, platforms platforms.C_FORCE_ROOT = True
2.验证celery任务
在搞定上面的东西以后,你就可以通过postman来请求接口让接口使用celery来异步执行任务而不阻塞你的request请求。
免责声明:本站文章均来自网站采集或用户投稿,网站不提供任何软件下载或自行开发的软件! 如有用户或公司发现本站内容信息存在侵权行为,请邮件告知! 858582#qq.com
RTX 5090要首发 性能要翻倍!三星展示GDDR7显存
三星在GTC上展示了专为下一代游戏GPU设计的GDDR7内存。
首次推出的GDDR7内存模块密度为16GB,每个模块容量为2GB。其速度预设为32 Gbps(PAM3),但也可以降至28 Gbps,以提高产量和初始阶段的整体性能和成本效益。
据三星表示,GDDR7内存的能效将提高20%,同时工作电压仅为1.1V,低于标准的1.2V。通过采用更新的封装材料和优化的电路设计,使得在高速运行时的发热量降低,GDDR7的热阻比GDDR6降低了70%。
更新日志
- 《暗喻幻想》顺风耳作用介绍
- 崔健1985-梦中的倾诉[再版][WAV+CUE]
- 黄子馨《追星Xin的恋人们2》HQ头版限量编号[WAV+CUE]
- 孟庭苇《情人的眼泪》开盘母带[低速原抓WAV+CUE]
- 孙露《谁为我停留HQCD》[低速原抓WAV+CUE][1.1G]
- 孙悦《时光音乐会》纯银CD[低速原抓WAV+CUE][1.1G]
- 任然《渐晚》[FLAC/分轨][72.32MB]
- 英雄联盟新英雄安蓓萨上线了吗 新英雄安蓓萨技能介绍
- 魔兽世界奥杜尔竞速赛什么时候开启 奥杜尔竞速赛开启时间介绍
- 无畏契约CGRS准星代码多少 CGRS准星代码分享一览
- 张靓颖.2012-倾听【少城时代】【WAV+CUE】
- 游鸿明.1999-五月的雪【大宇国际】【WAV+CUE】
- 曹方.2005-遇见我【钛友文化】【WAV+CUE】
- Unity6引擎上线:稳定性提升、CPU性能最高提升4倍
- 人皇Sky今日举行婚礼!电竞传奇步入新篇章