标签：github -- 管理工具 默认 spiderkeeper scrapy SpiderKeeper scrapyd

需要安装的库比较多，可以按照步骤，参看上图理解

环境准备

scrapy: https://github.com/scrapy/scrapy
scrapyd: https://github.com/scrapy/scrapyd
scrapyd-client: https://github.com/scrapy/scrapyd-client
SpiderKeeper: https://github.com/DormyMo/SpiderKeeper

安装

pip install scrapy scrapyd scrapyd-client spiderkeeper

部署项目

第一步，启动scrapyd

$ scrapyd

测试地址：http://localhost:6800/

关于scrapyd的部署安装参考：scrapy部署之scrapyd

第二步，启动SpiderKeeper

借用 SpiderKeeper 的 github 的指导（我翻译的）：
命令行启动

$ spiderkeeper

选项：

spiderkeeper [options]

Options:

  -h, --help            展示帮助信息并且退出
  --host=HOST           host, 默认:0.0.0.0
  --port=PORT           port, 默认:5000
  --username=USERNAME   设置用户名 ,默认: admin
  --password=PASSWORD   设置密码 ,默认: admin
  --type=SERVER_TYPE    接受蜘蛛服务器类型, 默认: scrapyd
  --server=SERVERS      爬虫服务器, 默认: ['http://localhost:6800']
  --database-url=DATABASE_URL
                        SpiderKeeper 数据库，默认: sqlite:home/souche/SpiderKeeper.db
  --no-auth             不进行验证
  -v, --verbose         日志级别

SpiderKeeper可视化地址: http://localhost:5000

第三步，部署项目

1、创建scrapy项目

2、进入项目目录使用 scrapyd-client 生成 egg 文件 （进入需要上传的scrapy项目目录）

$ scrapyd-deploy --build-egg output.egg

3、上传 egg 文件 (确保已经启动 scrapyd 服务)

4、 完成！开始享受吧

标签：github,--,管理工具,默认,spiderkeeper,scrapy,SpiderKeeper,scrapyd
来源： https://blog.csdn.net/u011323949/article/details/112262573

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。