实现对B站异步加载的数据爬取

2021-10-30 01:02:00 阅读：233 来源： 互联网

标签：异步 datalist season 爬取 anime 番剧 data append 加载

1.爬取目标的url

url="https://www.bilibili.com/anime/index/#st=1&order=2&season_version=-1&area=-1&is_finish=-1&copyright=-1&season_status=-1&season_month=-1&year=-1&style_id=-1&sort=0&page=1"

2.是否是异步加载的，判断方式有很多，这里随便说1种。检查网页源码，查找想要的数据，看是否有，如果没有就是异步加载

这里没找到，可以判定时异步加载

3.找到真正的请求网页，通过在Network的Search里面搜索想要的数据，得到真正的url

4.解析Preview(也就是json)的数据

这里可以获取我们想要的数据

5.用xls表格保存数据

好，我们开始写代码

 1 import xlwt
 2 import requests
 3 
 4 
 5 # 功能：实现B站番剧排名的爬取
 6 
 7 
 8 def main():
 9     datalist = askUrl()
10     saveData(datalist)     # 保存数据
11 
12 
13 def askUrl():
14     url = "https://api.bilibili.com/pgc/season/index/result"
15     headers = {
16         "User - Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36"
17     }
18     datalist = []
19     for page in range(1,157):
20         params = {
21             'st': '1',
22             'order': '2',
23             'season_version': '-1',
24             'area': '-1',
25             'is_finish': '-1',
26             'copyright': '-1',
27             'season_status': '-1',
28             'season_month': '-1',
29             'year': '-1',
30             'style_id': '-1',
31             'sort': '0',
32             'page': str(page),
33             'season_type': '1',
34             'pagesize': '20',
35             'type': '1',
36         }
37         response = requests.get(url, params=params, headers=headers)
38         html = response.json()
39         data = html["data"]["list"]             # 数据位置
40         for anime in data:
41             data = []
42             title = anime["title"]              # 番剧名字
43             data.append(title)
44 
45             episode = anime["index_show"]       # 番剧集数
46             data.append(episode)
47 
48             link = anime["link"]                # 番剧链接
49             data.append(link)
50 
51             playVolume = anime["order"]         # 番剧播放量
52             data.append(playVolume)
53 
54             ifVip = anime["badge"]              # 是否会员专享
55             if ifVip == "":
56                 data.append("不是会员专享")
57             else:
58                 data.append(ifVip)
59 
60             datalist.append(data)               # y一部番剧的所有信息
61         print("第%d页已爬取完毕!"%page)
62     return datalist
63 
64 
65 def saveData(datalist):
66     savepath = "B站番剧排名.xls"         #表格路径
67     workbook = xlwt.Workbook(encoding="utf-8")      # 创建workbook对象
68     # 创建一个worksheet对象,第二个参数是指单元格是否允许重设置，默认为False
69     worksheet = workbook.add_sheet(savepath,cell_overwrite_ok=True)        # 创建工作表
70     col = ("番剧名字","番剧集数","番剧链接","番剧播放量","番剧是否会员专享")
71     for i in range(0,5):
72         # 设置列宽，计算列宽度：256是单元格基数*用数据长度*2最终的结果单元格的宽度和数据正好填满
73         # worksheet.col(i).width = 256 * len(col[i]) * 2      # 自适应列宽
74         worksheet.write(0,i,col[i])     # 第一行的数据（列名）
75     for i in range(0,3119):     # 第几行
76         data = datalist[i]
77         for j in range(0,5):    # 第几列
78             worksheet.write(i+1,j,data[j])
79     workbook.save(savepath)
80 
81 
82 if __name__ == '__main__':
83     main()

最后得到我们想要的数据

2021-10-30

标签：异步,datalist,season,爬取,anime,番剧,data,append,加载
来源： https://www.cnblogs.com/loveverse/p/15484100.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9