标签：传参 请求 url detail item scrapy div response name

前提

如果爬取解析的数据不在同一张页面中。（深度爬取）

实战

使用古诗词网站进行模拟

import scrapy
from bossPro.items import BossproItem
class BossSpider(scrapy.Spider):
    name = 'boss'
    # allowed_domains = ['www.xxx.com']
    start_urls = ['https://www.shicimingju.com/category/all']

    url = 'https://www.shicimingju.com/chaxun/zuozhe/1_%d.html'
    page_num = 2

    # 回调函数接受item
    def parse_detail(self, response):
        item = response.meta['item']

        detail = response.xpath('//*[@id="main_right"]/div[1]/div[2]/div[1]/div/text()').extract()
        detail = ''.join(detail)
        # print(job_desc)
        item['detail'] = detail
        yield item

    #数据解析处理
    def parse(self, response):
        list_data = response.xpath('//*[@id="main_left"]/div')
        for li in list_data:
            name = li.xpath('./div[@class="zuozhe_list_item"]/h3/a/text()').extract_first()
            detail_url = li.xpath('./div[@class="zuozhe_list_item"]/h3/a/@href').extract_first()
            detail_url = 'https://www.shicimingju.com' + str(detail_url) #有空值需要处理下，如果没有空值可以不用str

            item = BossproItem()
            item['name'] = name
            # 对详情页发请求获取详情页的页面源码数据
            # 手动请求的发送
            # 请求传参：meta={}，可以将meta字典传递给请求对应的回调函数
            yield scrapy.Request(detail_url, callback=self.parse_detail, meta={'item': item})

        #分页操作
        if self.page_num <= 3:
            new_url = format(self.url%self.page_num)
            self.page_num += 1
            yield scrapy.Request(new_url,callback=self.parse)

标签：传参,请求,url,detail,item,scrapy,div,response,name
来源： https://www.cnblogs.com/simon1993/p/16307636.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。