今天带你爬取P站各种数据资源，是不是很兴奋，是不是很刺激？

2021-01-08 16:29:26 阅读：238 来源： 互联网

标签：picture img title url 是不是刺激兴奋 https original

前言

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

以下文章来源于青灯教育，作者清风

Python爬虫、数据分析、网站开发等案例教程视频免费在线观看

https://space.bilibili.com/523606542

基本开发环境

Python 3.6
Pycharm

相关模块的使用

import os
import re
import requests

看标题是爬取P站的数据资源，是不是很兴奋，是不是很刺激？

“啊？P站？哪个P站？”，

我不知道你们说的P站是哪个P站，主要面向二次元的P站，应该只有一个吧。

pixiv是一个以插图、漫画和小说、艺术为中心的社交网络服务里的虚拟社区网站。于2007年9月10日推出第一个测试版。公司总部位于日本东京都涩谷区千驮谷。pixiv创办初衷是为全球艺术家提供一个能发表他们的作品，并透过评级系统反应其他用户意见的地方。网站以用户投稿的原创图画为中心，辅以标签、书签、作品回应、排行榜等功能形成具有其特色的社交网络。

百度百科

这些图片壁纸还是非常高清的，这个网站有一个非常有意思的地方：

你复制图片地址，第一次可以访问，点击刷新第二次就会是403

这些问题都不大，经过测试，当你给了cookie 以及 Referer 就可以下载爬取，哪怕是第二次也是可以的。

如何获取图片地址

1、网站是瀑布流加载，打开开发者工具，下滑网页就可以看到相关的数据接口了。

里面有图片的名字以及图片的ID 链接等等。

数据接口中获取的图片地址和真实的图片地址还是有点差别的

比如：

# 数据接口中的图片地址
# https://i.pximg.net/img-original/img/2021/01/03/02/51/59/86774115_p0.jpg
# 图片真实地址
# https://original.img.pixivic.net/img-original/img/2021/01/03/02/51/59/86774115_p0.jpg

所以提取url之后需要对其拼接。

完整代码

import os
import re
import requests




def get_response(html_url):
    headers = {
        'cookie': '你自己的cookie',
        'Referer': 'https://pixivic.com/',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
    }
    response = requests.get(url=html_url, headers=headers)
    return response




def save(img_url, title):
    path = 'img\\'
    if not os.path.exists(path):
        os.makedirs(path)
    img_data = get_response(img_url).content
    with open(path + title, mode='wb') as f:
        f.write(img_data)
        print(title)




def main(html_url):
    html_data = get_response(html_url).text
    img_url = re.findall('"original":"(.*?)"', html_data)
    title = re.findall('"title":"(.*?)"', html_data)
    picture_data = zip(img_url, title)
    for i in picture_data:
        # 正则匹配的地址
        # https://i.pximg.net/img-original/img/2021/01/03/02/51/59/86774115_p0.jpg
        # 图片真实地址
        # https://original.img.pixivic.net/img-original/img/2021/01/03/02/51/59/86774115_p0.jpg
        picture_1 = i[0].split('net/')[-1]   # img-original/img/2021/01/03/02/51/59/86774115_p0.jpg
        picture_2 = i[0].split('/')[-1]  # 86774115_p0.jpg
        picture_url = 'https://original.img.pixivic.net/' + picture_1
        picture_title = i[1] + picture_2
        save(picture_url, picture_title)




if __name__ == '__main__':
    for page in range(1, 11):
        url = f'https://pix.ipv4.host/ranks?page={page}&date=2021-01-04&mode=day&pageSize=30'
        main(url)

最后说明

虽然可以爬取数据，但是爬取的速度相对而言有点慢了。因为有一些图片数据比较大。

标签：picture,img,title,url,是不是,刺激,兴奋,https,original
来源： https://blog.csdn.net/m0_48405781/article/details/112368810

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。