标签：全站 spider li 爬取 scrapy html

基于spider的全站数据爬取

• 基于spider的全站数据爬取
  • 就是将网站中某板块下的全部页码对应的页面数据进行爬取
  • 需求：爬取校花网中的照片名称
  • 实现方式：
    • 将所有页面的url添加到start_urls列表(不推荐)
    • 自行手动进行请求发送(推荐)
      • yield scrapy.Request(url,callback):callbakc专门用作于数据解析

import scrapy


class XiaohuaSpider(scrapy.Spider):
    name = 'xiaohua'
    # allowed_domains = ['www.xxx.com']
    start_urls = ['http://www.521609.com/tuku/index.html']

    url = 'http://www.521609.com/tuku/index_%d.html'
    page_num = 2

    def parse(self, response):
        li_list = response.xpath('/html/body/div[4]/div[3]/ul/li')
        for li in li_list:
            img_name = li.xpath('./a/p/text()').extract_first()
            print(img_name)
        if self.page_num <= 6:
            new_url = format(self.url % self.page_num)
            print(new_url)
            self.page_num += 1
            # 手动请求发送:callback回调函数是专门用作数据解析
            yield scrapy.Request(url=new_url, callback=self.parse)

标签：全站,spider,li,爬取,scrapy,html
来源： https://www.cnblogs.com/yxh-zixishi/p/14453858.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。