标签：exception TimeoutError request twisted 重试 internet

在使用 scapy 进行大批量爬取的时候，少数请求链接会出现请求超时，当出现请求超时时，爬虫会自动重试三次。

扩展，可以 通过 设置 RETRY_ENABLED = False 来关闭重试机制

若超过 180s 且三次后且还是没有得到数据，就会出现 twisted.internet.error.TimeoutError 错误。

提供几种解决办法：

1、降低同时请求的数量

CONCURRENT_REQUESTS = 5

2、 增加超时时间

DOWNLOAD_TIMEOUT = 2000

3、 增加重试次数

RETRY_TIMES = 5

4、下载中间件中，捕获这个报错，并返回request，让它重新请求这个对象：

from twisted.internet.error import TimeoutError
def process_exception(self, request, exception, spider)：

    if isinstance(exception, TimeoutError):
                return request

标签：exception,TimeoutError,request,twisted,重试,internet
来源： https://blog.51cto.com/u_15018246/2908206

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。