ICode9

精准搜索请尝试: 精确搜索
首页 > 编程语言> 文章详细

Python网络爬虫爬取贴吧话题热议榜单(可自定义条数)

2020-03-21 17:03:14  阅读:330  来源: 互联网

标签:__ 10 30 自定义 Python res 热议 soup import


 1 import pandas as pd
 2 import requests as rq
 3 from bs4 import BeautifulSoup
 4 url="http://tieba.baidu.com/hottopic/browse/topicList?res_type=1"
 5 def res_caputure():
 6     try:
 7         res = rq.get(url,timeout=30)
 8         res.raise_for_status()
 9         res.encoding = res.apparent_encoding
10         return res.text
11     except:
12         return "发生异常,响应码为{}".format(res.status_code)
13 if __name__ == "__main__":
14     r = res_caputure()
15     soup = BeautifulSoup(r)
16     a = soup.select('a[target]')
17     p = soup.select('span')
18     soup_p=[]
19     soup_a=[]
20     s=input("输入要查看百度贴吧话题热议榜单的条数(直接回车默认为10条,最高为30):")
21     if s=='':
22         s=10
23     else:
24         s=int(s)
25     for k in range(3,s*2+3,2):
26         soup_p.append(p[k].string)
27     for i in range(0,s):
28         soup_a.append(a[i].string)
29     dt={'排名':range(1,s+1),'标题':soup_a,'内容数':soup_p}
30     df=pd.DataFrame(dt)
31     print(df)

可自定义查看条数,按回车确定,不输入默认为10条

演示如下:

标签:__,10,30,自定义,Python,res,热议,soup,import
来源: https://www.cnblogs.com/chargecrystal/p/12540150.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有