'''安装进程管理工具pip install scrapyd 服务器pip install sctapyd-clinet 客户端启动服务器在命令行启动scrapyd启动爬虫curl http://localhost:6800/schedule.json -d project=zh -d spider=zongheng{'node_name':'WINDOWS-O9531I0','status':'ok&#
scrapyd是爬虫框架scrapy提供的云服务，用户可以部署自己的scrapy包到云服务，默认监听在6800端口。如果攻击者能访问该端口，将可以部署恶意代码到服务器，进而获取服务器权限。 参考链接：https://www.leavesongs.com/PENETRATION/attack-scrapy.html 环境搭建 执行如下命令启动scrapyd服
万恶之源 curl http://localhost:6800 解决办法 作者是因为设置了代理，导致无法访问因此只需要 设置跳过代理： curl --noproxy "*" http://localhost:6800/listprojects.json 或者找到.curlrc文件(mac 在.bash_profile)，添加： no_proxy='localhost,127.0.0.1' 除此之外，可
scrapyd是一个用于部署和运行scrapy爬虫的程序，它允许你通过JSON API来部署爬虫项目和控制爬虫运行 概览 项目和版本 scrapyd可以管理多个项目，并且每个项目允许有多个版本，但是只有最新的版本会被用来运行爬虫. 最方便的版本管理就是利用VCS工具来记录你的爬虫代码，版本比较不是简单
有好多朋友关于6800/8080的概念可能不是太清楚。经常问些为什么？？？其实主要区别是总线的控制方式上。 对于内存的存储，需要数据总线和地址总线，这都是一样的 但对于存取的控制，它们则采用了不同的方式—— 8080是通过“读使能（RE）”和“写使能（WE）”两条控制线进行读写
#### 服务端安装使用scrapyd 下面的操作是在远程的服务器操作， 1，创建虚拟环境 ，虚拟环境名为sd 2，pip3 install scrapyd 3. 配置 mkdir /etc/scrapyd vim /etc/scrapyd/scrapyd.conf 4，写入一下配置 参考官网：https://scrapyd.readthedocs.io/en/stable/config.html#config [scrapyd
Scrapyd Scrapyd是部署和运行Scrapy.spider的应用程序。它使您能够使用JSON API部署（上传）您的项目并控制其spider。 Scrapyd-client Scrapyd-client是一个专门用来发布scrapy爬虫的工具，安装该程序之后会自动在python目录\scripts安装一个名为scrapyd-deploy的工具 （其实打开
scrapyd 安装 https://cuiqingcai.com/5445.html 发布 到 scrapyd https://cuiqingcai.com/8491.html pip install scrapyd 安装完毕后，查看scrapyd的配置文件，scrapyd会在如下位置依次查找配置文件，并以最后一个找到的配置文件为准进行配置 /etc/scr
