ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

flask插件系列之flask_celery异步任务神器

2022-02-10 12:33:54  阅读:222  来源: 互联网

标签:插件 flask app celery Flask import config


flask插件系列之flask_celery异步任务神器 

 

现在继续学习在集成的框架中如何使用celery.

在Flask中使用celery

在Flask中集成celery需要做到两点:

  1. 创建celery的实例对象的名字必须是flask应用程序app的名字,否则celery启动会失败;

  2. celery必须能顺利加载初始化文件。

celery在flask中初始化

由于celery进程的运行和flask进程的运行是相互独立的,但是在框架中我们希望只使用一份配置文件,这样可以简化配置的工作。

from celery import Celery
from flask import Flask

app = Flask(__name__)

def make_celery(app):
    celery = Celery(app.import_name)
    celery.conf.update(app.config)
    return celery

celery = make_celery(app)
# celery的配置文件在app的setting中;

问题:上面的做法程序在初始化的时候可以完成celery的初始化,但是当使用工厂模式创建app的时候,celery的初始化变得困难;

from celery import Celery
from flask import Flask

celery = None

def make_celery(app):
    celery = Celery(app.import_name)
    celery.conf.update(app.config)
    return celery

def create_app(config_name)
    app = Flask(__name__)
    config_class = config_map[config_name]
    app.config.from_object(config_class)
    # 初始化celery
    global celery
    celery = make_celery(app)

  • 问题:由于程序初始化的时候并不能创建出app对象,所以celery启动的时候必须先在tasks中导入app对象才能完成初始化,可能导致循环导入的错误;

  • 解决:引入Flask-Celery-Helper,帮助我们初始化celery对象;

  • 安装Flask-Celery-Helper

pip install Flask-Celery-Helper
  • 将所有额外的需要初始化的对象独立出来在一个单独的py模块。
# extensions.py
from flask_celery import Celery
# 创建celery的实例
celery = Celery()

# __init__.py
from extensions import celery

def create_app(config_name)
    app = Flask(__name__)
    config_class = config_map[config_name]
    app.config.from_object(config_class)
    # 对celery进行初始化操作,可以将celery的配置写在app的配置中
    celery.init_app(app=app)

# tasks.py
from extensions import celery

@celery.task()
def add(x,y):
    return x + y

注意

  • Flask-Celery-Helper官方目前只支持到python3.4,但楼主使用py3.6也没有问题;Flask-Celery-Helper不支持celery4.X的版本,否则报错,因此需要使用celery3.x的版本;

  • 调用task方法

# app.py

from tasks import add
@app.route("/index")
def index():
    """一个测试的实例"""
    print(add(3+6)) # add函数也能做普通的函数使用
    add.apply_async(args=[5,7], queue='eegqueue') # 发送异步任务,指定队列

    return "ok!"

启动celery

启动celery之前需要加载flask的app的配置,因此需要创建一个app对象给celery使用。

# run_celery.py
import create_app
flask_app = create_app("develop") # 创建app的同时,对celery完成了加载配置的工作
from extensions import celery # 此时的celery对象已经在上下文中完成初始化
# 找到celery实例的位置,指定worker,指定接收某个队列的消息,如果不指定则接收所有队列的消息
celery -A run_celery.celery worker -Q eegqueue --loglevel=info

标签:插件,flask,app,celery,Flask,import,config
来源: https://www.cnblogs.com/xiao-xue-di/p/15878548.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有