标签：process 并行 爬虫 spider project cmdline scrapy import

有的时候需要在scrapy工程里面运行多个爬虫，试用了网上两种方法。

运行环境：scrapy:2.3.0 + python3.8

第一种：

# coding:utf-8

from scrapy import cmdline
cmdline.execute("scrapy crawl spider1".split())
cmdline.execute("scrapy crawl spider2".split())

无效，只能运行第一个。

运行多个

# -*- coding: utf-8 -*-
import scrapy
from scrapy import cmdline
from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings

process = CrawlerProcess(get_project_settings())
process.crawl("gov_mof_tuwenzhibo")  # scrapy项目中spider的name值
process.crawl("gov_mof_caizhengxinwen")  # scrapy项目中spider的name值

process.start()

特别说明：

from scrapy.utils.project import get_project_settings 这个为scrapy自带的，非自建的，直接引用即可；

参考：

[python - Running Multiple spiders in scrapy for 1 website in parallel? - Stack Overflow](https://stackoverflow.com/questions/39365131/running-multiple-spiders-in-scrapy-for-1-website-in-parallel)

[backtest/spider_runner.py at e5e7af64fac54fdd57033deaae8650461442e4b7 · futurecoming/backtest](https://github.com/futurecoming/backtest/blob/e5e7af64fac54fdd57033deaae8650461442e4b7/utils/spider_runner.py)

标签：process,并行,爬虫,spider,project,cmdline,scrapy,import
来源： https://www.cnblogs.com/ministep/p/16394429.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。