标签：count python photo 爬取 文件夹 requests sel response

爬取的网站

https://wallpaperscraft.com/catalog/anime

爬取代码

# 导包
import os
import requests
import parsel
from parsel import Selector  

def download_onepagephoto(website_url,count):  # 下载一页图片
    # 用i暂存传输过来的count值
    i=count
    # 发送请求
    response = requests.get(website_url)
    response.encoding = response.apparent_encoding
    # 很关键的一步，构建Selector对象
    sel = Selector(response.text)
    # 获取到网页中样式为wallpapers__item类下a标签的href的值
    index = sel.css('.wallpapers__item a::attr(href)').getall()
    # 遍历进入每个图片
    for line in index:
        # 模拟进入另一个页面，如法炮制上述操作
        response = requests.get("https://wallpaperscraft.com"+line)
        response.encoding = response.apparent_encoding
        sel = Selector(response.text)
        index2 = sel.css('.wallpaper__placeholder a::attr(href)').getall()
        if len(index2)!=0:
            nameurl=index2[0]
            # 获取到图片链接，将其保存到同级目录本地photo文件夹
            photo=requests.get(nameurl).content
            with open("photo/"+str(i)+".jpg","wb") as fp:
                fp.write(photo)
            print(str(i)+" already success")
            i=i+1
    return i

count=1
#爬取第一页
count=download_onepagephoto("https://wallpaperscraft.com/catalog/anime/1920x1080",count)
#爬取第二页及以后
for temp in range(2,174):
    count=download_onepagephoto("https://wallpaperscraft.com/catalog/anime/1920x1080/page"+str(temp),count)
    print("第"+str(temp)+"页图片爬取完成")

【创作不易，望点赞收藏，若有疑问，请评论，谢谢】

标签：count,python,photo,爬取,文件夹,requests,sel,response
来源： https://www.cnblogs.com/dongxuelove/p/16205341.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。