标签：python 爬虫 coverPath 爬取 url print import os Aname

爬取网站上的动态图片

 代码

import os
from re import I
import urllib
import requests
from lxml import html #定位用的lxml 还有其他如beautifulsoup xpath  
import time
from requests.packages.urllib3.exceptions import InsecureRequestWarning
requests.packages.urllib3.disable_warnings(InsecureRequestWarning)

Aname = r'\tup'
def CreateFolder(Aname):
    #address = 'C:/Users/Admin/Desktop'#设置一个本地地址，等一会创建文件夹并且放入
    address = os.getcwd()
    os.chdir(address)
    if not os.path.exists(address+Aname):
        print(address+Aname)
        print("not exist")
        os.mkdir(Aname)

def download(url,coverPath):
    header = headers = {
    "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11"}
    r = requests.get(url, headers=header,verify=False)
    if r.status_code == 200:
        open(coverPath, 'wb').write(r.content) # 将内容写入图片
        print("done")
    del r

def get_filename(url_str):
    #print(url_str.split('/')[-1])
    name1 = url_str.split('/')[-1]
    return name1

CreateFolder(Aname)
for page in range(2,3):
    print('page:   ',page)
    url = "https://www.keaidian.com/biaoqingbao/9875.html"
    response = requests.get(url,verify=False).text
    selector = html.fromstring(response)
    imgEle2 = selector.xpath('//li[@class="tx-img"]/a[1]')
    label = 'tu%s'%page
    #print(imgEle)#得到的元素
    for index,i in enumerate(imgEle2):
        #print(index,i)#i还不是url链接 是一个个a标签
        imgUrl = i.xpath('@href')[0]#连接已得到
        imgUrl = "https://www.keaidian.com"+imgUrl
        #print(str)
        imgName = get_filename(imgUrl)
        #imgName = '%s_%s.jpg'%(label,index)
        coverPath = '%s\%s\%s'%(os.getcwd(),Aname,imgName)
        #print(coverPath)
        download(imgUrl,coverPath)
        #urllib.request.urlretrieve(imgUrl,coverPath)
    #time.sleep(2)   

0⭮⭯

标签：python,爬虫,coverPath,爬取,url,print,import,os,Aname
来源： https://www.cnblogs.com/shucode/p/15724734.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。