标签：部署 主机 爬虫 gerapy 文件夹 服务端 scrapyd

1、安装scrapyd

服务端安装：pip install scrapyd

客户端安装:pip install scrapyd-client

2、启动scrapyd服务

服务端建立一个deploy文件夹，cd到该文件夹中，执行sudo scrapyd或scrapyd。这时在服务端主机的6800端口打开了scrapyd服务。

3、客户端安装gerapy

在客户端主机执行：pip3 install gerapy

4、gerapy配置启动

1)新建一个文件夹，cd到该文件夹执行gerapy init，然后在文件夹中会生成一个gerapy文件夹

2)cd到gerapy文件夹中，执行gerapy migrate进行初始化,会生成一个SQLite数据库，数据库保存主机配置信息和部署版本等

3）在gerapy目录下，执行gerapy runserver即启动gerapy服务到本机的8000端口。

5、启用主机

浏览器中打开127.0.0.1：8000进行管理界面

主机管理===》创建，输入服务端主机的scrapyd服务的ip和port（本机就是127.0.0.1：6800），起一个主机名字，完成创建之后即可对这个服务端的scrapyd服务进行管理。

6、项目部署

1）拷贝scrapy项目到gerapy文件夹下的project文件夹，将项目内的cfg文件内的deploy部分修改好（两个部分：deploy:部署名、ip_port)。

2）在gerapy管理界面进行项目部署，点击项目管理可以看到project中存在的项目，点击项目上的部署==》添加描述==》打包==》点击主机上的部署，即可完成部署

3）进入主机管理界面，点击调度就可以看到所有部署好的项目和爬虫（分布式爬虫开启：连续点击运行即可，会自动创建不同的进程运行）

标签：部署,主机,爬虫,gerapy,文件夹,服务端,scrapyd
来源： https://www.cnblogs.com/CJTARRR/p/15050168.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。