ICode9
精准搜索请尝试： 精确搜索
首页
编程语言>
数据库
系统相关
互联网
其他分享
Python
Java
JavaScript
android
PHP
首页 > 其他分享> 文章详细

Django+Django-Celery+Celery的整合实战

2020-02-28 23:55:32  阅读：320  来源： 互联网

标签：实战 celery app py django Celery 任务 Django


Django+Django-Celery+Celery的整合实战

转载 最后发布于2019-04-15 15:07:18 阅读数 1942  收藏 展开 小程序 微信小程序开发基础 菲宇 ¥9.90

本篇文章主要是由于计划使用django写一个计划任务出来，可以定时的轮换值班人员名称或者定时执行脚本等功能，百度无数坑之后，终于可以凑合把这套东西部署上。本人英文不好，英文好或者希望深入学习或使用的人，建议去参考官方文档，而且本篇的记录不一定正确，仅仅实现crontab 的功能而已。

希望深入学习的人可以参考http://docs.jinkan.org/docs/celery/。

首先简单介绍一下，Celery 是一个强大的分布式任务队列，它可以让任务的执行完全脱离主程序，甚至可以被分配到其他主机上运行。我们通常使用它来实现异步任务（async task）和定时任务（crontab）。它的架构组成如下图

这里写图片描述

可以看到，Celery 主要包含以下几个模块：

任务模块 Task

包含异步任务和定时任务。其中，异步任务通常在业务逻辑中被触发并发往任务队列，而定时任务由 Celery Beat 进程周期性地将任务发往任务队列。

消息中间件 Broker

Broker，即为任务调度队列，接收任务生产者发来的消息（即任务），将任务存入队列。Celery 本身不提供队列服务，官方推荐使用 RabbitMQ 和 Redis 等。

任务执行单元 Worker

Worker 是执行任务的处理单元，它实时监控消息队列，获取队列中调度的任务，并执行它。

任务结果存储 Backend

Backend 用于存储任务的执行结果，以供查询。同消息中间件一样，存储也可使用 RabbitMQ, Redis 和 MongoDB 等。

异步任务
使用 Celery 实现异步任务主要包含三个步骤：

创建一个 Celery 实例
启动 Celery Worker
应用程序调用异步任务

一、快速入门

本地环境：

  1.   OS：centOS6.5
  2.   django-1.9
  3.   python-2.7.11
  4.   celery==3.1.20
  5.   django-celery

python、pip、django相关安装不在详写，直接参考百度即可；

  1.   pip install django==1.9 安装django
  2.   pip install celery==3.1.20 安装celery
  3.   pip install django-celery 安装django-celery

安装如果有失败，所需要的依赖环境自行解决。例如：mysql-python等；
使用做redis作为消息中间件，安装redis：
略

二、创建django项目开始测试

1、创建django 工程 命名为djtest

django-admin.py startproject djtest1

2、创建app 命名为apps

  1.   cd djtest
  2.   python manage.py startapp apps1

3、创建完成后，django 目录结构如下：
djtest1
├── apps1
│ ├── admin.py
│ ├── apps.py
│ ├── init.py
│ ├── migrations
│ │ └── init.py
│ ├── models.py
│ ├── tests.py
│ └── views.py
├── djtest1
│ ├── init.py
│ ├── init.pyc
│ ├── settings.py
│ ├── settings.pyc
│ ├── urls.py
│ └── wsgi.py
└── manage.py

4、修改setting.py django配置文件，增加如下：

  1.   import djcelery ###
  2.   djcelery.setup_loader() ###
  3.   CELERY_TIMEZONE='Asia/Shanghai' #并没有北京时区，与下面TIME_ZONE应该一致
  4.   BROKER_URL='redis://192.168.217.77:16379/8' #任何可用的redis都可以，不一定要在django server运行的主机上
  5.   CELERYBEAT_SCHEDULER = 'djcelery.schedulers.DatabaseScheduler' ###
  6.    
  7.   INSTALLED_APPS = (
  8.   'django.contrib.admin',
  9.   'django.contrib.auth',
  10.   'django.contrib.contenttypes',
  11.   'django.contrib.sessions',
  12.   'django.contrib.messages',
  13.   'django.contrib.staticfiles',
  14.   'djcelery', ### 加入djcelery应用
  15.   'apps1', ### 加入新创建的apps1
  16.   )
  17.   TIME_ZONE='Asia/Shanghai' ###

开头增加如上配置文件，根据实际情况配置redis的地址和端口，时区一定要设置为Asia/Shanghai。否则时间不准确回影响定时任务的运行。

上面代码首先导出djcelery模块，并调用setup_loader方法加载有关配置；注意配置时区，不然默认使用UTC时间会比东八区慢8个小时。其中INSTALLED_APPS末尾添加两项，分别表示添加celery服务和自己定义的apps服务。

5、编写celery文件：djtest/djtest/celery.py

  1.   #!/bin/python
  2.   from __future__ import absolute_import
  3.    
  4.   import os
  5.    
  6.   from celery import Celery
  7.    
  8.   os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'djtest1.settings')
  9.   #Specifying the settings here means the celery command line program will know where your Django project is.
  10.   #This statement must always appear before the app instance is created, which is what we do next:
  11.   from django.conf import settings
  12.    
  13.   app = Celery('djtest1')
  14.    
  15.   app.config_from_object('django.conf:settings')
  16.   #This means that you don’t have to use multiple configuration files, and instead configure Celery directly from the Django settings.
  17.   #You can pass the object directly here, but using a string is better since then the worker doesn’t have to serialize the object.
  18.    
  19.   app.autodiscover_tasks(lambda: settings.INSTALLED_APPS)
  20.   #With the line above Celery will automatically discover tasks in reusable apps if you define all tasks in a separate tasks.py module.
  21.   #The tasks.py should be in dir which is added to INSTALLED_APP in settings.py.
  22.   #So you do not have to manually add the individual modules to the CELERY_IMPORT in settings.py.
  23.    
  24.   @app.task(bind=True)
  25.   def debug_task(self):
  26.   print('Request: {0!r}'.format(self.request)) #dumps its own request information

6、修改djtest1/djtest1/init.py

  1.   #!/bin/python
  2.   from __future__ import absolute_import
  3.    
  4.   # This will make sure the app is always imported when
  5.   # Django starts so that shared_task will use this app.
  6.   from .celery import app as celery_app

7、接下来编写你希望django去完成的app，本文中要编写的就是在INSTALLED_APPS中注册的apps。在celery.py中设定了对settings.py中INSTALLED_APPS做autodiscover_tasks，本文希望apps中能够接受这样的目录组织：所有的app都可以放到apps下面，而且每个app都有独立的目录，就和上面的app1、app2一样，每个app各自有各自的init.py和tasks.py（注意，每个app都需要init.py文件，可以是空白的）。但是这样的结构组织在启动时会报错说module apps找不到。然后在apps下增加了一个init.py文件，这时报错没了，但是apps下每个app的tasks.py中的任务函数还是无法被django和celery worker找到。

**然后尝试了在apps1下面写一个__init__.py（空白）和task.py，所有的task function都写到tasks.py中，如下**
  1.   from __future__ import absolute_import
  2.    
  3.   from celery import task
  4.    
  5.   from celery import shared_task
  6.    
  7.   #from celery.task import tasks
  8.   #from celery.task import Task
  9.    
  10.   @task()
  11.   #@shared_task
  12.   def add(x, y):
  13.   print "%d + %d = %d"%(x,y,x+y)
  14.   return x+y
  15.   #class AddClass(Task):
  16.   # def run(x,y):
  17.   # print "%d + %d = %d"%(x,y,x+y)
  18.   # return x+y
  19.   #tasks.register(AddClass)
  20.    
  21.   @shared_task
  22.   def mul(x, y):
  23.   print "%d * %d = %d"%(x,y,x*y)
  24.   return x*y
  25.    
  26.   @shared_task
  27.   def sub(x, y):
  28.   print "%d - %d = %d"%(x,y,x-y)
  29.   return x-y

8、同步数据库

  1.   python manage.py makemigrations
  2.    
  3.   python manage.py migrate

9、创建超级用户

  1.   python manage.py createsuperuser
  2.    
  3.   Username (leave blank to use 'work'): admin
  4.   Email address: yyc@taihe.com
  5.   Password:
  6.   Password (again):
  7.   Superuser created successfully.

10、启动django-web、启动celery beat 启动 celery worker进程

  1.   python manage.py runserver 0.0.0.0:8001#启动django的应用，可以动态的使用django-admin来管理任务
  2.    
  3.   python manage.py celery beat #应该是用来监控任务变化的
  4.    
  5.   python manage.py celery worker -c 6 -l debug #任务执行进程，worker进程

11、通过django-admin添加已注册的任务，并查看输出是否正常。

http://192.168.217.77:8001/admin/ 输入密码登录
（1）
登录后添加任务：
这里写图片描述

点击进入以后，可以看到已经存在的任务，点击添加即可；
（3）
这里写图片描述
保存之后，可以查看到列表。

（6）在python manage.py celery worker -c 6 -l debug启动的窗口可以看到如下的运行过程，证明已经生效。
这里写图片描述

第一行红色标记，可以看到注册函数被调用，第二行红色标记，可以看到函数的返回值。

到此已经基本完成。在实际运用中，我们只需要修改或者添加到tasks.py文件里一些函数，让他注册到里边。我们从前台django-web写入任务，可以使其动态加载到任务。并且把正确的参数传过去，就可以正常执行。完成我们所想要的通过这个django-celery工具制作定期的备份、统一管理的crontab平台等。

参考文章：

  1.   http://blog.csdn.net/vintage_1/article/details/47664297
  2.   http://docs.jinkan.org/docs/celery/getting-started/introduction.html
  3.   http://www.jianshu.com/p/f78ed01969b3
  4.  

标签：实战,celery,app,py,django,Celery,任务,Django
来源： https://www.cnblogs.com/flintlovesam/p/12381144.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

关于我们 | 联系我们 | 留言反馈

专注分享技术，共同学习，共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有