Python爬虫案例教学演示：爬取“绝对领域”二次元小姐姐图片

2021-07-21 16:32:43 阅读：275 来源： 互联网

标签：xpath 小姐姐相册 Python pic li html 二次元 data

Python爬虫、数据分析、网站开发等案例教程视频免费在线观看

https://space.bilibili.com/523606542

前言

今天带大家采集一个二次元图片网站, 里面漂亮的小姐姐层出不穷，图片的数据量也是比较大的, 来一睹为快吧! !

开发环境介绍：

python 3.6
pycharm
requests
parsel
os

爬虫案例数据采集一般步骤:

找数据对应的链接地址
代码发送地址的请求
数据解析<解析我们要的数据>
数据保存(本地)

1. 首先第一步，找到对应的链接地址

因为是静态网页，所以数据很容易就找到了

# url编码: 中文在请求和响应的时候转码, http协议默认不支持中文, 由 % 字母 数字
request_address = f'https://www.jdlingyu.com/tag/%e5%b0%91%e5%a5%b3/page/{page}'
# 代表浏览器身份标识
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'}

2. 代码发送地址的请求

response = requests.get(url=request_address, headers=headers)
html_data = response.text  # 字符串 -- 正则
print(html_data)

请求一下，看看对不对

3. 数据解析<解析我们要的数据> html数据, xpath

selector = parsel.Selector(html_data)  # 转换数据类型

lis = selector.xpath('//div[@id="post-list"]/ul/li')  # 所有相册的标签

for li in lis:  # 一个一个操作相册标签对象
    pic_title = li.xpath('.//h2/a/text()').get()  # 相册标题
    pic_href = li.xpath('.//h2/a/@href').get()  # 相册地址
    print(pic_title, pic_href)

4. 保存数据

with open(f'img\\{pic_title}\\{pic_name}', mode='wb') as f:
    f.write(img_data)
    print('保存完成:', pic_name)

完整源码加Python学习交流群：1039649593找管理员免费获取

运行完整代码

标签：xpath,小姐姐,相册,Python,pic,li,html,二次元,data
来源： https://www.cnblogs.com/qshhl/p/15040082.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9