标签：headers Python resp request 爬虫 re url print

import re
from urllib import request
# 定义url
page=50
url='http://club.sanguosha.com/thread-1111069-1-1.html'
 
try:
    # 定义请求头
    headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36 Edg/99.0.1150.39'}
    # 定义请求，传入请求头
    req=request.Request(url,headers=headers)
    # 打开网页
    resp=request.urlopen(req);
    # 打印响应，解码
    #print(resp.read().decode('utf-8'))
    content=resp.read().decode('utf-8')
    # 正则表达式获取需要的网页信息
    # pattern=re.compile(r'<a.*>title=(.*?)\s{1}.?>(.*?)</a>')
    pattern=re.compile(r'<font size=(.*?)>(.*?)</font>')
    # 匹配html
    items=re.findall(pattern,content)
    # 打印解析内容
    for i in items:
        # print('标题:'+i[0]+" "+'内容'+i[1])
        print(i[1])
 
 
except request.URLError as e:
    # 打印响应码
    if hasattr(e,'code'):
        print(e.code)
    # 打印异常
    if hasattr(e,'reason'):
        print(e.reason)

标签：headers,Python,resp,request,爬虫,re,url,print
来源： https://blog.csdn.net/qq_62908191/article/details/123647451

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。