标签：__ pattern self 爬虫 htmls 排行 import 斗鱼 root
from urllib import request
from io import BytesIO
import gzip
import re
class Spider():
def __init__(self):
self.url='https://www.douyu.com/g_LOL'
self.root_pattern='<div class="DyListCover-info"><span class="DyListCover-hot is-template"><svg><use xlink:href="#icon-hot_8a57f0b"></use></svg>([\s\S]*?)</h2></div>'
self.number_pattern='([\s\S]*?)</span>'
self.name_pattern='</use></svg>([\s\S]*?)'
def __fetch_content(self):
headers={'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36'}
page1=request.Request(self.url,headers=headers)
r=request.urlopen(page1)#加入浏览器信息
htmls=r.read()#获取字节码
buff=BytesIO(htmls)
f=gzip.GzipFile(fileobj=buff)
htmls=f.read().decode('utf-8')#数据被压缩过，我们要对数据进行处理。
return htmls
def __analysis(self,htmls):
root_htmls=re.findall(self.root_pattern,htmls)
anchors=[]
for origin_html in root_htmls:
new_html=origin_html.replace('</span><h2 class="DyListCover-user is-template"><svg><use xlink:href="#icon-user_c95acf8"></use></svg>','')
anchors.append(new_html)
print(anchors)
def go(self):
htmls=self.__fetch_content()
self.__analysis(htmls)
spider=Spider()
spider.go()
以前觉得爬虫很难，完成了一个小目标之后，觉得有点小放松。
但内心却似乎感觉很朦胧。
只是冰山一角而已。
小云同学
发布了46 篇原创文章 · 获赞 9 · 访问量 893
私信
关注
标签：__,pattern,self,爬虫,htmls,排行,import,斗鱼,root 来源： https://blog.csdn.net/weixin_45850939/article/details/104570098
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。