ICode9

精准搜索请尝试: 精确搜索
首页 > 数据库> 文章详细

爬取当当网 --------分布式爬虫scrapy_redis--------python爬虫案例

2021-06-26 21:31:35  阅读:177  来源: 互联网

标签:-------- xpath dl 当当网 爬虫 item scrapy book dangdang


爬取当当网

一、分析

  • 爬取对象:当当网 http://book.dangdang.com/
    在这里插入图片描述
    在这里插入图片描述
  • 要求:获取三级类目的名称,并得到详情页书名和图片url

第一步 页面分析

  • 需求:大分类 二级分类 三级分类 图书的名字和图片的src
  • ​大分类
    • 整个大分类都在 div con flq_body 它下面的 div/dl/dt
      • 1 在大分类中有一个span标签,但是源码中没有
      • 2 有的大分类在dt标签下面还有一个a标签 /dt//text().extract()
        获取dt标签下的全部文本
  • 二级分类
    • div level one --> dl class=“inner_dl” dt/text()
    • 注意:1 有的大分类在dt标签下面还有一个a标签 /dt//text().extract()
  • 三级分类
    • dl class=“inner_dl” --> dd/a/text()
    • 注意:图片的src images/model/guan/url_none.png 这个时候还是要看下源码
    • data-original=“http://img3m0.ddimg.cn/95/11/27854240-1_b_14.jpg”

第二步 实现步骤

  • 1 创建scrapy项目(爬虫)
  • 2 分析页面并实现逻辑
  • 3 改写程序(scrapy_redis)

二、实现

  • 思路:先实现普通的scrapy爬虫,然后在改写成scrapy_redis

(一)准备程序

  • 在terminal终端输入
    scrapy startproject book
    # 爬虫程序名最好不要和爬虫程序重名
    scrapy genspider dangdang dangdang.com
    
  • 创建start.py文件,放在与scrapy.cfg同层目录下
    # 要运行整个程序的话,只需要运行这个文件
    from scrapy import cmdline
    # cmdline.execute('scrapy crawl db'.split())
    cmdline.execute(['scrapy','crawl','dangdang'])
    
  • 确保redis服务器开启,且可以连接
  • 并输入lpush dangdang:start_urls url

(二)setting.py文件

  • 固定格式


SPIDER_MODULES = ['book.spiders']
NEWSPIDER_MODULE = 'book.spiders'

# 去重过滤
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
# scheduler队里
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
# 数据持久化
SCHEDULER_PERSIST = True

ROBOTSTXT_OBEY = False

DEFAULT_REQUEST_HEADERS = {
  'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36',
  'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
  'Accept-Language': 'en',
}
# 开启管道
ITEM_PIPELINES = {
    # 'book.pipelines.BookPipeline': 300,
    'scrapy_redis.pipelines.RedisPipeline': 400,
}

(三)dangdang.py文件

import scrapy
from copy import deepcopy
from scrapy_redis.spiders import RedisSpider # 第一步,添加模块


class DangdangSpider(RedisSpider): # 第二步 修改继承的父类
    name = 'dangdang'
    allowed_domains = ['dangdang.com']
    # start_urls = ['http://book.dangdang.com/'] 
    #第三步,把start_urls 改写成 reids_key='爬虫文件名字'
    redis_key = 'dangdang'

    def parse(self, response):
        div_list = response.xpath('//div[@class="con flq_body"]/div')
        for div in div_list:
            item = {}
            # 获取大分类
            item['b_cate'] = div.xpath('./dl/dt//text()').extract()
            item['b_cate'] = [i.strip() for i in item['b_cate'] if len(i.strip())>0]

            dl_list = div.xpath('.//dl[@class="inner_dl"]')
            for dl in dl_list:
                # 获取中分类
                item['m_cate'] = dl.xpath('./dt//text()').extract()
                item['m_cate'] = [i.strip() for i in item['m_cate'] if len(i.strip()) > 0]
                # 获取小分类
                a_list = dl.xpath('./dd/a')
                for a in a_list:
                    item['s_cate'] = a.xpath('./text()').extract_first()
                    item['s_href'] = a.xpath('./@href').extract_first()

                    if item['s_href'] is not None:
                        yield scrapy.Request(
                            url=item['s_href'],
                            callback=self.parse_book_list,
                            meta={'item':deepcopy(item)}
                        )
                    print(item)

    def parse_book_list(self,response):
        item = response.meta.get('item')
        li_list = response.xpath('//ul[@class="list_aa "]/li')
        for li in li_list:
            # 图片的url images/model/guan/url_none.png
            item['book_img'] = li.xpath('./a[@class="img"]/img/@src').extract_first()

            if  item['book_img'] == 'images/model/guan/url_none.png':
                item['book_img'] = li.xpath('./a[@class="img"]/img/@data-original').extract_first()
            # 数据的名字
            item['book_name'] = li.xpath('./a[@class="name"]/a/@title').extract_first()
            # print(item)
            yield item

(四)item.py文件

import scrapy


class BookItem(scrapy.Item):
    # define the fields for your item here like:
    name = scrapy.Field()
    pass

在这里插入图片描述
在这里插入图片描述

标签:--------,xpath,dl,当当网,爬虫,item,scrapy,book,dangdang
来源: https://blog.csdn.net/weixin_43761516/article/details/118171150

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有