标签：status code 新华社 url 一键 content headers find 下载

新华社图片新闻的地址正确

http://sn.news.cn/2022-02/26/c_1128419282.htm

import requests
import bs4

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36 Edg/98.0.1108.62'}

def downimg(name,img):
    h = requests.get(img,headers=headers)
    with open(f'./{name}.jpg','wb') as f:
        f.write(h.content)

def main(url):
    h = requests.get(url,headers=headers)
    print(h.status_code,h.url)
    if h.status_code != 200:return h.status_code
    h = bs4.BeautifulSoup(h.content.decode())
    标题 = h.find(id='title').text
    图片地址 = url[:29] + h.find(id="content").find('img').attrs['src']
    downimg('1',图片地址)
    txt = []
    for i in h.find(id="content").findAll('p'):
        if i.text == '':continue
        txt.append(''.join(i.text.split()))
    for u in range(2,10):
        ur = url[:-4] + f'_{u}.htm'
        h = requests.get(ur,headers=headers)
        print(h.status_code,h.url)
        if h.status_code != 200:
            print('错误代码:',h.status_code)
            return '错误代码'        
        h = bs4.BeautifulSoup(h.content.decode())
        图片地址 = url[:29] + h.find(id="content").find('img').attrs['src']
        downimg(f'{u}',图片地址)
        for i in  h.find(id="content").findAll('p'):
            if i.text == '':continue
            txt.append(''.join(i.text.split()))
    #写入文件
    with open('./新闻稿.txt','w') as f:
        f.write(f'{list(set(txt))}')


if __name__=='__main__':
    # url = input('新华社图片频道第一张地址:')
    url = 'http://sn.news.cn/2022-02/26/c_1128419282.htm'
    main(url)

标签：status,code,新华社,url,一键,content,headers,find,下载
来源： https://www.cnblogs.com/xiaostring/p/15942726.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。