标签：name img url 09 soup 2021 lis import 04

爬虫-4K壁纸网获取图片

介绍：使用requests 模块获取网页，用BeautifuSoup解析网页，最后提取标签内容，使用wget下载图片。

适用：新手学习爬虫

代码

import re
import requests
import wget
from bs4 import BeautifulSoup as bs
import time
import os
import struct

#获取一个网页
def reback_html(url):
    headers = {
        "User_Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36"}
    html = requests.get(url, headers=headers)
    html.encoding = 'utf-8'
    soup = bs(html.text, 'lxml')

    return soup     #z#z
#列表表格输出
def list_show(lis):
    j=0
    for i in lis:
        print("第{}个输出:".format(j),lis[j])
        j=j+1
#正则匹配找出图片地址
def re_img(lis_soup): #lis_soup 表示查找成的一个标签列表
    lis = []
    for i in lis_soup:
        img_link = re.findall('src="(.*.jpg)"', str(i))
        if img_link :
            lis.append(img_link[0])
    print(lis)
    return  lis
#发现图片只有一部分，所以进行一个合成
def combine(url_head,lis2):
    lis = []
    for i in lis2 :
        lis.append(url_head+i)
    return lis
#requests下载图片
def wenjian1(name,lis3):
    headers = {
        "User_Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36"}
    #创建文件夹
    if not os.path.exists('./'+name):
        os.mkdir('./'+name)
    j=0
    for i in  lis3 :
        img_data = requests.get(i,headers=headers)
        img_data_buf = struct.pack('11s',img_data.text.encode('utf-8'))
        # img_data.text.encode('utf-8')
        print(type(img_data_buf))
        img_path ='./'+name+'/'+str(j)+'.jpg'
        j=j+1
        with open(img_path,'wb') as fp :
            fp.write(img_data_buf)
            print('第{}张图片下载成功'.format(j))
#wget方法下载图片
def wget_img(name,lis3):
    #创建文件夹
    if not os.path.exists('./'+name):
        os.mkdir('./'+name)
    img_path = './'+name+'/'
    for i in  lis3 :
        wget.download(i,img_path)


if __name__ == '__main__':
    url = 'https://pic.netbian.com/4kyingshi/'
    url_head = 'https://pic.netbian.com' #头
    #做一个汤
    soup = reback_html(url)
    #查找所有a标签
    lis = soup.find_all('a')
    #对所有a标签进行二次查找
    lis2 = re_img(lis)
    #网址合成
    lis3 = combine(url_head,lis2)

    #下载
    wget_img('影视',lis3)

效果：

介绍代码

第一步
导入代码中的模块，若是没有就直接pip install 或者pip3 install
第二步
reback_html()的功能：
访问url，用get方法获取网页，对网页进行使用BeautifulSoup解析
第三步
用soup.find_all(‘a’)找到图片连接的标签位置，返回一个列表
第四步
re_img()的功能：
对a标签中的图片地址 src 采用正则匹配提取出来，返回一个列表
第五步
wget_img()的功能：
下载列表中的图片地址，保存下路

标签：name,img,url,09,soup,2021,lis,import,04
来源： https://blog.csdn.net/qq_39520290/article/details/120102283

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。