标签：小姐姐 img headers url 爬取 虎牙 图片链接 requests
概述
最近几年由于网络直播的兴起，直播行业也是越来越火，一些老宅男也是比较喜欢看小姐姐，然而许多人却会碰到直播界面图片不会保存的问题，那么接下来我将用十几行代码告诉你如何拿到大量美女图片，拿去做手机壁纸。
开发工具
python 3.5以上 或者pycharm
相关模块
requests模块(爬虫模块) —pip install requests
re（正则表达式模块，用于字符串匹配）
os (操作系统功能模块)
步骤
进入虎牙官网，点击分类中的颜值，就进入当前目标区了
右键检查在元素中即可定位到图片连接，即是我们的目标，这里我们可以看到
src属性所包含的图片链接的问号后有参数，在程序中处理掉即可拿到高清大图
代码
import requests
import re
import os
#在当前目录建一个名为虎牙美女图片的文件夹
if not os.path.exists('./虎牙美女图片'):
os.mkdir('./虎牙美女图片')
url = 'https://www.huya.com/g/2168'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.182 Safari/537.36 Edg/88.0.705.74'
}
page_text = requests.get(url=url,headers=headers).text
#匹配出图片链接
ex = '<img class="pic" data-original="(.*?)" src=".*?</div>'
img_list = re.findall(ex,page_text,re.S)
#print(img_list)
for one in img_list:
#去掉？后的参数，将图片转换为大图
new_url = one.split('?')[0]
img_data = requests.get(url=new_url,headers=headers).content
img_name = new_url.split('_')[-1]
#print(img_name)
img_path = './虎牙美女图片/'+img_name
with open(img_path,'wb') as fp:
fp.write(img_data)
print(img_name,'下载完成！')
结语
在这篇文章中采用的是从网页源代码中获取图片链接，并且未做分页处理
要想分页获取更多图片，在这里小编提供两种方法，感兴趣的可以自己去试试：
法一：利用selenium模块，获取当前网页源代码，提取图片链接，然后执行点击下一页，继续提取图片链接，直到下一页不能点击。
法二：继续用requests模块，我们发现点击下一页产生的数据是由ajax产生的，网页url并未变化，通过在network的xhr中抓包，我们在其中的一条数据中可以找到点击下一页而产生的图片链接，并且请求的字符串参数中有num参数控制页数，通过这个可以写一个控制下载页数的爬虫。
好了，方法都已经告诉你们了，欢迎尝试与挑战！！！有不会的可以在评论区或者私信问我，小编会一一解答。
最后，喜欢不妨三连哦~~~
标签：小姐姐,img,headers,url,爬取,虎牙,图片链接,requests 来源： https://blog.csdn.net/qq_57421630/article/details/120596192
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。