首页 > 编程语言> 文章详细

Python抓取哔哩哔哩up主信息：只要爬虫学的好，牢饭吃的早

2021-06-28 18:02:39 阅读：160 来源： 互联网

标签：kwargs Python 牢饭 py db 抓取 python user 哔哩

项目地址：

https://github.com/cgDeepLearn/BilibiliCrawler

项目特点：

采取了一定的反反爬策略。
Bilibili更改了用户页面的api, 用户抓取解析程序需要重构。

在这里插入图片描述

快速开始：

拉取项目, git clone https://github.com/cgDeepLearn/BilibiliCrawler.git
进入项目主目录，安装虚拟环境crawlenv(请参考使用说明里的虚拟环境安装)。
激活环境并在主目录运行crawl,爬取结果将保存在data目录csv文件中。

ource activate crawlenv
python initial.py file  # 初始化file模式
python crawl_user.py file 1 100  # file模式，1 100是开始、结束bilibili的uid

进入data目录查看抓取的数据，是不是很简单！

如果需要使用数据库保存和一些其他的设置，请看下面的使用说明

使用说明：

1.拉取项目

git clone https://github.com/cgDeepLearn/BilibiliCrawler.git

2.进入项目主目录，安装虚拟环境

若已安装anaconda

conda create -n crawlenv python=3.6
source activate crawlenv  # 激活虚拟环境
pip install -r requirements.txt

若使用virtualenv

virtualenv crawlenv
source crawlenv/bin/activate  # 激活虚拟环境，windows下不用source
pip install -r requirements.txt  # 安装项目依赖

3. 修改配置文件

进入config目录，修改config.ini配置文件(默认使用的是postgresql数据库，如果你是使用的是postgresql，只需要将其中的参数替换成你的，下面其他的步骤可以忽略) 数据库配置选择其中一个你本地安装的即可，将参数更换成你的如果你需要更自动化的数据库配置，请移步我的DB_ORM项目

[db_mysql]
user = test
password = test
host = localhost
port = 3306
dbname = testdb

[db_postgresql]
user = test
password = test
host = localhost
port = 5432
dbname = testdb

然后修改conf.py中获取配置文件的函数

def get_db_args():
    """
    获取数据库配置信息
    """
    return dict(CONFIG.items('db_postgresql'))  # 如果安装的是mysql,请将参数替换为db_mysql

进入db目录，修改basic.py的连接数据库的DSN

# connect_str = "postgresql+psycopg2://{}:{}@{}:{}/{}".format(kwargs['user'], kwargs['password'], kwargs['host'], kwargs['port'], kwargs['dbname'])
# 若使用的是mysql，请将上面的connect_str替换成下面的
connect_str = "mysql+pymysql://{}:{}@{}:{}/{}?charset=utf8".format(kwargs['user'], kwargs['password'], kwargs['host'], kwargs['port'], kwargs['dbname'])
# sqlite3，mongo等请移步我的DB_ORM项目，其他一些数据库也将添加支持

4. 运行爬虫

python initial.py db # db模式，file模式请将db换成file
# file模式会将抓取结果保存在data目录
# db模式会将数据保存在设置好的数据库中
# 若再次以db模式运行将会drop所有表后再create，初次运行后请慎重再次使用!!!
# 如果修改添加了表，并不想清空数据，请运行 python create_all.py

开始抓取示例

python crawl_user.py db 1 10000 # crawl_user 抓取用户数据，db 保存在数据库中， 1 10000为抓取起止id
python crawl_video_ajax.py db 1 100 # crawl_video_ajax 抓取视频ajax信息保存到数据库中,
python crawl_user_video.py db 1 10000 #同时抓取user 和videoinfo
# 示例为uid从1到100的user如果有投稿视频则抓取其投稿视频的信息，
# 若想通过视频id逐个抓取请运行python crawl_video_by_aid.py db 1 1000

爬取速率控制

程序内已进行了一些抓取速率的设置，但各机器cpu、mem不同抓取速率也不同，请酌情修改
太快太慢请修改各crawl中的sleepsec参数,ip会被限制访问频率，overspeed会导致爬取数据不全，
之后会添加运行参数speed(high, low),不用再手动配置速率

日志

爬取日志在logs目录
user, video分别为用户和视频的爬取日志
storage为数据库日志如需更换log格式，请修改logger模块

后台运行

linux下运行python …前面加上nohup，例如:

nohup python crawl_user db 1 10000

程序多线程使用的生产者消费者模式中产生了程序运行的状况的打印信息，类似如下

produce 1_1
consumed 1_1
...

如想运行更快，请在程序各项设置好后注释掉其中的打印程序

# utils/pcModels.py
print('[+] produce %s_%s' % (index, pitem))  # 请注释掉

print('[-] consumed %s_%s\n' % (index, data))  # 请注释掉

项目是单机多线程，若想使用分布式爬取，请参考Crawler-Celery

标签：kwargs,Python,牢饭,py,db,抓取,python,user,哔哩
来源： https://blog.51cto.com/u_14825302/2952042

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

Python抓取哔哩哔哩up主信息：只要爬虫学的好，牢饭吃的早

目录

项目地址：

项目特点：

快速开始：

使用说明：