python爬虫：爬取B站搜索内容

2022-01-06 16:29:59 阅读：190 来源： 互联网

标签：content python list 爬虫爬取 url data page

注：爬虫仅可用于娱乐学习，不可用于商业用途（小心牢饭）
最近闲来无事，想要爬取知乎内容玩一玩，奈何最近知乎又更新了反爬机制！不管我用啥方法都获取不到首页html和json内容，于是乎转战B站。（若有哪位大佬知道最新知乎解密方式望指点一下）
看到网上好多教程都是爬取热榜，今天想尝试一下搜索关键词爬取所有相关内容（思路是一致的）

进入开发者工具寻找内容

以搜索“原神”为例：
火狐：设置->更多工具->web开发者工具（Ctrl+shift+l）
Microsoft Edge：F12快捷键
在弹出的页面内依次点击以下框：在这里插入图片描述在搜索框搜索包含视频信息的url，这里以某一视频八重神子实机演示为例搜索：
找到记录这一页视频信息的url，进入消息头

获取相应参数

复制保存消息头中的url,Cookie,User-Agent信息
注：Cookie不要全都复制，复制一部分就行（到某一部分分号之前）

点击GET中链接，可以看到记录的json格式信息：
可以根据自己的需要在代码中获取哪一部分
在这里插入图片描述里面有每个视频标题，简介，播放量，关注量，作者id等

爬取一页内容

import requests, json
import pandas as pd

url = '放入你的需要爬取的url'
headers = {
    'Host': 'api.bilibili.com',
    'user-agent': '你的user-agent',
    'Cookie': '你的Cookie'
}

title_list, like_list, play_list = [],[],[]

def getdata():
    res = requests.get(url, headers=headers).content.decode('utf-8')
    jsonfile = json.loads(res)
    if (jsonfile['data']):
    		# 爬取内容，根据你想要的内容更改列表和标签
        for content in jsonfile['data']['result']:
            title_list.append(content['title'])
            like_list.append(content['like'])
            play_list.append(content['play'])

getdata()
data1 = {
    '标题': title_list,
    '播放量': play_list,
    '点赞量': like_list
}
dataframe = pd.DataFrame(data=data1)
dataframe.to_excel('./数据.xlsx', index=False, encoding='utf-8')
print("end")

爬取多页内容

自己可以尝试一下翻页，翻页之后url发生变化
下面对其url解析一下：

GET
	https://api.bilibili.com/x/web-interface/search/all/v2?context=&page=1&order=&keyword=原神&duration=&tids_1=&tids_2=&from_source=web_search&from_spmid=333.337&platform=pc&__refresh__=true&_extra=&highlight=1&single_column=0

我们可以发现第一页page=1，第二页page=2，其余内容不发生改变
因此我们想要翻页爬取的时候只需要把page改变就可以了

首先把url中的page拿出来&page=1
这时url只有https://api.bilibili.com/x/web-interface/search/all/v2?context=&order=&keyword=原神&duration=&tids_1=&tids_2=&from_source=web_search&from_spmid=333.337&platform=pc&__refresh__=true&_extra=&highlight=1&single_column=0
每次解析完一页，page+1就可以了

import requests, json
import pandas as pd

url = '放入你的需要爬取的url(去掉page)'  # 去掉
headers = {
    'Host': 'api.bilibili.com',
    'user-agent': '你的user-agent',
    'Cookie': '你的Cookie'
}

title_list, like_list, play_list = [],[],[]


def getdata(start):
		# 用于输入当前页数
    data = {
        'page': start
    };
    # 读取url中数据
    res = requests.get(url, headers=headers, data=data).content.decode('utf-8')
    # 变为json格式数据
    jsonfile = json.loads(res)
    # 根据自己需求改变下列内容
    if (jsonfile['data']):
        for content in jsonfile['data']['result']:
            title_list.append(content['title'])
            like_list.append(content['like'])
            play_list.append(content['play'])

				# 输出爬取页过程
        print('page'+str(start))
        # 因为每一页最多存放20个视频，判断如果这一页有20个视频，说明还可能有下一页，然后再爬下一页
        if len(jsonfile['data']['result']) == 20:
            getdata(start + 1)

# 从第一页开始获取数据
getdata(1)
Data = {
    '标题': title_list,
    '播放量': play_list,
    '点赞量': like_list
}
dataframe = pd.DataFrame(data=Data)
dataframe.to_excel('./数据2.xlsx', index=False, encoding='utf-8')
print("end")

标签：content,python,list,爬虫,爬取,url,data,page
来源： https://blog.csdn.net/min_coder/article/details/122344720

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

python爬虫：爬取B站搜索内容

进入开发者工具寻找内容

获取相应参数

爬取一页内容

爬取多页内容