标签：Pipeline Downloader 学习 Item Scrapy Spiders Scheduler 框架结构

Scrapy学习(二) 框架结构分析

在对Scrapy进行深入学习之前，我们需要对其框架有一定的了解，才能更好的运用Scrapy进行编程

Scrapy结构

对Scrapy结构进行解读，将解读下图：

网上流传甚广的Scrapy结构图 Scrapy分为Scheduler, Downloader, Spiders, Item Pipeline和ScrapyEngine五个组分。

组分名称	作用
Scheduler	调度器，对整体进行调度，负责从Spiders接受存放url和向Downloader发送下载请求
Downloader	下载器，接受Requests和向Spiders发出下载到的Responses
Spiders	负责处理来自Downloader的Responses，把新requests发送给Scheduler，再把需要的Items给Item Pipeline处理
Item Pipeline	处理，保存数据
Scrapy Engine	整体管理

如果再具象一点，就像是一个工厂流水线，Scheduler是老板，负责调度员工和处理订单；Downloader是搬运工人，从网上搬运内容；Spiders是会计，负责向老板提交新订单和接受搬运工的信息；Item Pipeline是仓库管理员，将收集到的信息整理、登记、储存起来。

实际上，幸运的是，这样的一个结构中的大部分已经被安排好了，

标签：Pipeline,Downloader,学习,Item,Scrapy,Spiders,Scheduler,框架结构
来源： https://www.cnblogs.com/macmillan1225/p/15560477.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。