标签：Engine 请求 框架 Downloader Spider scrapy 引擎 下载

Scrapy 是一个基于 Twisted 的异步处理框架。异步就是说调用在发出之后，这个调用就直接返回，不管有没有结果。（非阻塞关注的是程序在等待调用结果（消息、返回值）时的状态，指在不能立刻得到结果之前，不会阻塞当前线程。）

1.scrapy架构

Engine，引擎，用来处理整个系统的数据流处理，触发事务，是整个框架的核心。引擎相当于总指挥，负责数据和信号在不同模块之间的传递。
Scheduler， 调度器，用来接受引擎发过来的请求并加入队列中，并在引擎再次请求的时候提供给引擎。调度器本质是个队列，存放引擎发过来的requestq请求。
Downloader，下载器，用于下载网页内容（request请求来源于引擎），并返回给引擎。
Item，项目，它定义了爬取结果的数据结构，爬取的数据会被赋值成该对象。
Spiders，蜘蛛，其内定义了爬取的逻辑和网页的解析规则，处理引擎发来的response，提取数据和url，并返回给引擎。
Item Pipeline，项目管道，负责处理引擎传来的数据，它的主要任务是清洗、验证和存储数据。
Downloader Middlewares，下载器中间件，位于引擎和下载器之间的钩子框架，主要是处理引擎与下载器之间的请求及响应。可以自定义下载扩展，比如设置代理。
Spider Middlewares， 蜘蛛中间件，位于引擎和蜘蛛之间的钩子框架，主要工作是处理蜘蛛输入的响应和输出的结果及新的请求。可以自定义request请求和过滤response。

2.工作流程

 Engine 首先打开一个网站，找到处理该网站的 Spider 并向该 Spider 请求初始URL。
 Spider将需要发送请求的url经ScrapyEngine（引擎）交给Scheduler（调度器）。
 Scheduler（排序，入队）处理后，返回下一个要爬取的 URL 给 Engine，Engine 将 URL 通过 Downloader Middlewares 转发给 Downloader 下载。
 一旦页面下载完毕， Downloader 生成一个该页面的 Response，并将其通过 Downloader Middlewares 发送给 Engine。
 Engine 从下载器中接收到 Response 并通过 Spider Middlewares 发送给 Spider 处理。
 Spider 处理 Response 并返回爬取到的 Item 及新的 Request 给 Engine。
 Engine 将 Spider 返回的 Item 给 Item Pipeline，将新的 Request 给 Scheduler。
 重复以上步骤，直到 Scheduler 中没有更多的 Request，Engine 关闭该网站，爬取结束    

标签：Engine,请求,框架,Downloader,Spider,scrapy,引擎,下载
来源： https://www.cnblogs.com/yq055783/p/12713319.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。