标签：Python 爬虫 抓取 Item Scrapy 设置 scrapy
scrapy.png
本文主要内容针对Scrapy有初步了解的同学。结合作者的实际项目中遇到的一些问题，汇成本文。
之后会写一些具体的爬虫demo, 放到 https://github.com/hanguangchao/scrapy_awesome
鉴于作者接触爬虫不久，水平有限，文章难免出现纰漏，还请各位达人留言指导。
内容提要
Scrapy问题记录
Scrapy问题示例代码
Scrapy常用代码片段
Scrapy常用设置
Scrapy参考资料
安装
使用
- 创建一个爬虫项目
- scrapy shell 工具
可以利用scrapy shell 分析网页
通过sel.xpath() 返回一个Selector， 可以判断页面结构是否存在。
使用中遇到的一些问题
- 一个爬虫项目中，是否支持多个Item？
- 在一个页面抓取多个Item？不同的Item如何存储？
- 爬虫进入下一级网页？
- 在爬虫中携带自定义数据？
- 重复抓取一个页面的方法？
- 分别指定每个爬虫的设置？
- 防止爬虫被ban？
针对以上问题，下面给出具体的代码示例
- 定义可以定义多个Item
- 具体的爬虫脚本
- 接第一个问题，多个Item，如何存储？
- Spider 自定义设置
使用custom_settings 该设置是一个dict.当启动spider时,该设置将会覆盖项目级的设置. 由于设置必须在初始化(instantiation)前被更新,所以该属性 必须定义为class属性
防止爬虫被ban
- 使用user agent池
- 使用IP池
- 禁止Cookie
- 增加下载延迟
- 分布式爬虫
- 一些常见设置
常用的Middleware
- 使用代理IP
- 随机Agent
- 使用PhantomJS 抓取JS网页
常用的Pipeline
过滤重复的Item
把Item存储到MySQL的Pipeline
把Item保存到JSON文件
标签：Python,爬虫,抓取,Item,Scrapy,设置,scrapy 来源： https://blog.csdn.net/mengy7762/article/details/121359784
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。