标签：picture 头像 Python request urllib 爬取 url https page

import urllib.request
from urllib import request
from bs4 import BeautifulSoup
x=1
url = 'https://www.woyaogexing.com/touxiang/fengjing/'
def hiking(url):
    head = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.182 Safari/537.36'}
    req = request.Request(url,headers=head)
    page = urllib.request.urlopen(req)
    contents = page.read()

    soup = BeautifulSoup(contents,'html.parser')
    my_picture = soup.find_all('img')
    for picture in my_picture:
        link = picture.get('src')
        a = 'https:'
        aa = a + link    #拼接出完整链接
        print(aa)
        global x
        urllib.request.urlretrieve(aa, 'allimage\%s.jpeg' % x)
        print("正在下载第%s张图片" % x)
        x += 1

for page in range(1,3):              #https://www.woyaogexing.com/touxiang/fengjing/index_2.html
    page+=1
    url = 'https://www.woyaogexing.com/touxiang/fengjing/index_%s.html'%page
    hiking(url)

标签：picture,头像,Python,request,urllib,爬取,url,https,page
来源： https://blog.csdn.net/weixin_43905975/article/details/114322657

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。