标签：配置文件 17 redis 爬虫 scrapy 组件 分布式

17.基于scrapy-redis两种形式的分布式爬虫

 

redis分布式部署

    1.scrapy框架是否可以自己实现分布式？

　　　　- 不可以。原因有二。

　　　　　　其一：因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。（多台机器无法共享同一个调度器）

　　　　　　其二：多台机器爬取到的数据无法通过同一个管道对数据进行统一的数据持久出存储。（多台机器无法共享同一个管道）

    2.基于scrapy-redis组件的分布式爬虫

        - scrapy-redis组件中为我们封装好了可以被多台机器共享的调度器和管道，我们可以直接使用并实现分布式数据爬取。

        - 实现方式：

            1.基于该组件的RedisSpider类

            2.基于该组件的RedisCrawlSpider类

    3.分布式实现流程：上述两种不同方式的分布式实现流程是统一的

        - 3.1 下载scrapy-redis组件：pip install scrapy-redis

        - 3.2 redis配置文件的配置：

- 注释该行：bind 127.0.0.1，表示可以让其他ip访问redis

- 将yes该为no：protected-mode no，表示可以让其他ip操作redis

        3.3 修改爬虫文件中的相关代码：

            - 将爬虫类的父类修改成基于RedisSpider或者RedisCrawlSpider。注意：如果原始爬虫文件是基于Spider的，则应该将父类修改成RedisSpider，如果原始爬虫文件是基于CrawlSpider的，则应该将其父类修改成RedisCrawlSpider。

            - 注释或者删除start_urls列表，切加入redis_key属性，属性值为scrpy-redis组件中调度器队列的名称

        3.4 在配置文件中进行相关配置，开启使用scrapy-redis组件中封装好的管道

        

ITEM_PIPELINES = {
    'scrapy_redis.pipelines.RedisPipeline': 400
}

        3.5 在配置文件中进行相关配置，开启使用scrapy-redis组件中封装好的调度器

# 使用scrapy-redis组件的去重队列
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
# 使用scrapy-redis组件自己的调度器
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
# 是否允许暂停
SCHEDULER_PERSIST = True

        3.6 在配置文件中进行爬虫程序链接redis的配置：

REDIS_HOST = 'redis服务的ip地址'
REDIS_PORT = 6379
REDIS_ENCODING = ‘utf-8’
REDIS_PARAMS = {‘password’:’123456’}

        3.7 开启redis服务器：redis-server 配置文件

        3.8 开启redis客户端：redis-cli

        3.9 运行爬虫文件：scrapy runspider SpiderFile

        3.10 向调度器队列中扔入一个起始url（在redis客户端中操作）：lpush redis_key属性值 起始url

    分类: 爬虫

标签：配置文件,17,redis,爬虫,scrapy,组件,分布式
来源： https://www.cnblogs.com/duhong0520/p/13283986.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。