bs4爬取网页图片

2021-10-30 16:03:48 阅读：146 来源： 互联网

标签：src 网页 get bs4 image 链接爬取 href resp

最近学习爬虫，利用bs4批量爬取图片，由于每个父链接点进去的子链接命名格式不一样，所以暂时没有找到把所有父链接下子链接图片全部下载的方法，只是下载了每个父链接点进去的第一个子链接图片

import requests
from bs4 import BeautifulSoup


url = "https://desk.zol.com.cn/"
resp = requests.get(url)

# print(resp.text)
page = BeautifulSoup(resp.text, "html.parser")
alist = page.find("ul", class_ = "pic-list2 clearfix").find_all("a")
# print(alist)
for a in alist:
    # print(a.get("href"))
    href = url + a.get("href")
    print(href)
    # 拿到子页面的源代码
    child_resp = requests.get(href)
    child_page = BeautifulSoup(child_resp.text, "html.parser")
    # 拿到图片下载地址
    image = child_page.find("img", id="bigImg")
    image_src = image.get("src")
    #下载图片，写入文件内
    image_resp = requests.get(image_src)
    image_name = "下载的图片/" + image_src.split("/")[-1]
    with open(image_name, mode="wb") as f:
        f.write(image_resp.content)

标签：src,网页,get,bs4,image,链接,爬取,href,resp
来源： https://blog.csdn.net/weixin_43496049/article/details/121052126

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

bs4爬取网页图片