标签：AROAY cloudscraper settings 兼容 scrapy 兼容性 proxy

scrapy 兼容 cloudscraper

• scrapy 原生对 cloudscraper的兼容性差
• • 神奇的AroayCloudScraper
  • 超级简单的使用方式(参考作者的文档)
  • • settings 设置：
    • • 建议：
    • Middleware：
    • 代码样本：
    • • proxy说明
      • headers 说明

scrapy 原生对 cloudscraper的兼容性差

经过我这几天的摸索和时间，scrapy对cloudscerper兼容性并不好，所以需要进行一定的二次开发，才能加强兼容性

神奇的AroayCloudScraper

上面说需要做二次开发调整，才能提高兼容性，好在已经有大佬做了这件事，它就是AroayCloudScraper，github地址

超级简单的使用方式(参考作者的文档)

settings 设置：

# 默认日志级别
AROAY_CLOUDSCRAPER_LOGGING_LEVEL = logging.DEBUG(可调整)

默认超时
AROAY_CLOUDSCRAPER_DOWNLOAD_TIMEOUT = 30

# 默认延迟
AROAY_CLOUDSCRAPER_DELAY = 1

#必须设置，否则报错
COMPRESSION_ENABLED = False

RETRY_ENABLED: True
RETRY_TIMES: 3

建议：

如果只有少部分爬虫用到cloudscraper，建议将相关的AROAY设置，放到爬虫的custom_settings中.

Middleware：

'aroay_cloudscraper.downloadermiddlewares.CloudScraperMiddleware': 543,

代码样本：

proxy说明

proxy 为cloudscraper所用，格式是：

proxy = {
	'http': 'http://***',
    'https': 'https://****'
       }

headers 说明

headers中可加cookie，也可不加，作者写的代码里，单独加了对cookie的支持，感兴趣的可看源码.

标签：AROAY,cloudscraper,settings,兼容,scrapy,兼容性,proxy
来源： https://blog.csdn.net/qq_40244755/article/details/116740327

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。