ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

scrapyd+gerapy之爬虫部署

2021-07-11 23:35:42  阅读:177  来源: 互联网

标签:bin 0.0 爬虫 gerapy usr 目录 scrapyd


一、Linux上安装scrapyd

1. linux下安装python3

可参考我之前博文:https://www.cnblogs.com/Liu928011/p/14864190.html

2. 安装scrapyd并配置软链接

  • 安装scrapyd:pip3 install scrapyd
  • 配置软链接:ln -s /usr/local/python3/bin/scrapyd /usr/bin/scrapyd

 

3. scrapyd默认是只能本机访问,我们需要修改配置,让其能够在外网访问。需要找到配置文件所在目录:

 

4. 进入scrapyd的目录

 

5. 修改default_scrapyd.conf文件

 

 

6.vi或vim进入文件修改bind为0.0.0.0

 

7. cd到主目录并创建scrapywork目录

 

8. 启动scrapyd

 

9. 访问成功

二、Linux上安装gerapy

ps:gerapy是基于scrapyd创建的,所以,必须保证scrapyd是启动状态

1.安装gerapy:  pip3 install gerapy -i https://pypi.tuna.tsinghua.edu.cn/simple

2.配置软链接:  ln -s /usr/local/python3/bin/gerapy  /usr/bin/gerapy

3. 配置gerapy

(1)创建一个目录

 

(2)进入目录,初始化gerapy

gerapy init

 

 

(3)迁移生成数据库目录

gerapy makemigrations

 

 

 

(4)进入gerapy目录

cd gerapy

 

 

 

(5)数据迁移

gerapy migrate

 

 

 

(6)创建超级管理员账号

gerapy createsuperuser

 

(7)启动服务

gerapy runserver 0.0.0.0:8000

 

4、访问

 

5、登录账号,创建主机(将项目发布到哪)

 

 

6、上传项目

 

 

 ...........

标签:bin,0.0,爬虫,gerapy,usr,目录,scrapyd
来源: https://www.cnblogs.com/Liu928011/p/15000047.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有