ICode9
精准搜索请尝试： 精确搜索
首页
编程语言>
数据库
系统相关
互联网
其他分享
Python
Java
JavaScript
android
PHP
首页 > 其他分享> 文章详细

《流浪地球》影评数据爬取分析

2020-06-30 12:02:37  阅读：292  来源： 互联网

标签：__ plt 流浪 爬取 影评 import div data ###


《流浪地球》影评数据爬取分析

人生苦短，我用Python。

阿巴阿巴阿巴，爬虫初学者，志在记录爬虫笔记，交流爬虫思路。
话不多说，开始进行操作。
对于电影数据影评的爬取，这里选取的网站是豆瓣网（豆瓣网自从全面反爬之后，很多东西都只会用户看一部分，而且一天中访问量不得超过60次（maybe？））。

1、首先看一看网页结构：

在这里插入图片描述
用红框标出来的就是要爬取的部分。
在这里插入图片描述
在这里插入图片描述
这个就是在网页源码中的呈现形式。
当然，不满足于表面的爬取，还要深入到详情页中去爬取一些东西：
在这里插入图片描述
在这里插入图片描述

2、进行代码编写前的设置

在编写前需要对得到网页的请求头：
在这里插入图片描述
在这里只需要得到图上的这两个部分

3、在Python中进行编写操作

（1）引入需要的库

import requests
from lxml import etree
import time
import re
from bs4 import BeautifulSoup
import pandas as pd

（2）访问得到网页相应体
在这里插入图片描述
在这里决定采用BeautifulSoup和Xpath进行解析的操作（Xpath是因为有谷歌插件，好用）

user=[]###用户名
recommend=[]###推荐
time=[]###评论时间
useful=[]###赞
comment=[]###评论正文
localurl=[]###用户详细页url
times=[]###评论具体时刻
for i in range(25):###只会给用户看25页数据，然后网页的变化规律是每一页*20
    res=requests.get('https://movie.douban.com/subject/26266893/comments?start='+str(i*20)+'&limit=20&sort=new_score&status=P',
                headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.113 Safari/537.36',
                        'Cookie': 'bid="7sAyY56pZbA"; _vwo_uuid_v2=DCD965FA612B9AA380F3FA1A2339BB564|b67597b839c7d6bc73e9b665eed2bc00; __gads=ID=c51078e4178c48eb:T=1587128591:S=ALNI_MZDDDN1GCQhOG2lGtWmhDyztyYnZw; ll="118331"; __yadk_uid=8afSWVhZUZdGvfM5Si9RIU8CXGBzBERi; ct=y; push_doumail_num=0; push_noty_num=0; __utmv=30149280.21342; douban-fav-remind=1; _ga=GA1.2.744215232.1587128554; _gid=GA1.2.526658113.1587270968; UM_distinctid=17190b8f9179b-09d49616f834c5-6373664-1fa400-17190b8f918bdb; Hm_lvt_19fc7b106453f97b6a84d64302f21a04=1587270974; _pk_ref.100001.4cf6=%5B%22%22%2C%22%22%2C1587349547%2C%22https%3A%2F%2Fwww.baidu.com%2Flink%3Furl%3D87F10nBWauMdSF-PaKHoG8T9ZEv2mnP_6OpeQWaLQx4n7WfQTD7-myRg8wfRPA_I%26wd%3D%26eqid%3Dd465097600331851000000065e9d0827%22%5D; _pk_ses.100001.4cf6=*; ap_v=0,6.0; __utma=30149280.744215232.1587128554.1587310231.1587349547.5; __utmc=30149280; __utmz=30149280.1587349547.5.4.utmcsr=baidu|utmccn=(organic)|utmcmd=organic; __utma=223695111.1317237486.1587265874.1587310231.1587349547.4; __utmb=223695111.0.10.1587349547; __utmc=223695111; __utmz=223695111.1587349547.4.3.utmcsr=baidu|utmccn=(organic)|utmcmd=organic; __utmt=1; __utmb=30149280.2.10.1587349547; dbcl2="213426135:OE+aP6Hb5Lk"; ck=zS1Z; _pk_id.100001.4cf6=0559898e47160491.1587265874.4.1587349586.1587310278.'})
    ht=etree.HTML(res.text)###xpath解析
    htt=BeautifulSoup(res.text,'lxml')###BeautifulSoup解析
    user=user+ht.xpath('//*[@id="comments"]/div/div/h3/span[2]/a/text()')
    recommend=recommend+ht.xpath('//*[@id="comments"]/div/div/h3/span[2]/span[2]/@title')
    time=time+[j.text for j in htt.find_all(name='span',class_='comment-time')]
    times=times+[t['title'] for t in htt.find_all(name='span',class_='comment-time')]
    useful=useful+ht.xpath('//*[@id="comments"]/div/div[2]/h3/span[1]/span/text()')
    comment=comment+ht.xpath('//*[@id="comments"]/div/div[2]/p/span/text()')
    localurl=localurl+ht.xpath('//*[@id="comments"]/div/div/h3/span[2]/a/@href')

在得到表面数据后，因为在之前有了详情页的url，所以继续循环访问，得到详情页数据。

local=[]###用户地址
addtime=[]###用户注册时间
for m in localurl:
        ress=requests.get(m,headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.113 Safari/537.36',
                        'Cookie': 'bid="7sAyY56pZbA"; _vwo_uuid_v2=DCD965FA612B9AA380F3FA1A2339BB564|b67597b839c7d6bc73e9b665eed2bc00; __gads=ID=c51078e4178c48eb:T=1587128591:S=ALNI_MZDDDN1GCQhOG2lGtWmhDyztyYnZw; ll="118331"; __yadk_uid=8afSWVhZUZdGvfM5Si9RIU8CXGBzBERi; ct=y; push_doumail_num=0; push_noty_num=0; __utmv=30149280.21342; douban-fav-remind=1; _ga=GA1.2.744215232.1587128554; _gid=GA1.2.526658113.1587270968; UM_distinctid=17190b8f9179b-09d49616f834c5-6373664-1fa400-17190b8f918bdb; Hm_lvt_19fc7b106453f97b6a84d64302f21a04=1587270974; __utmc=30149280; __utmc=223695111; dbcl2="213426135:5KTItlUeQ5Y"; ck=WaLj; _pk_ref.100001.4cf6=%5B%22%22%2C%22%22%2C1587310231%2C%22https%3A%2F%2Fwww.douban.com%2F%22%5D; _pk_ses.100001.4cf6=*; __utma=30149280.744215232.1587128554.1587300080.1587310231.4; __utmz=30149280.1587310231.4.3.utmcsr=douban.com|utmccn=(referral)|utmcmd=referral|utmcct=/; __utma=223695111.1317237486.1587265874.1587300080.1587310231.3; __utmb=223695111.0.10.1587310231; __utmz=223695111.1587310231.3.2.utmcsr=douban.com|utmccn=(referral)|utmcmd=referral|utmcct=/; __utmt=1; __utmb=30149280.4.10.1587310231; _pk_id.100001.4cf6=0559898e47160491.1587265874.3.1587310253.1587306901.'})
        httt=etree.HTML(ress.text)
        local=local+httt.xpath('//*[@id="profile"]/div/div[2]/div[1]/div/a/text()')
        addtime=addtime+httt.xpath('//*[@id="profile"]/div/div[2]/div[1]/div/div/text()[2]')

4、数据处理

因为得到的数据很不好看，逼死处女座！！！！所以在这里想方设法的进行数据的处理。
对评分进行处理：

time=[re.sub('\n|\s+','',z) for z in time]###对评论时间进行清洗
da={'用户':user,'评分':recommend,'日期':time,'赞':useful,'评论':comment}
data=pd.DataFrame(da)
data['评分'][data['评分'].str.contains(' ')]='无'###对评分进行设定
data['分数']=0
for i in range(len(data['评分'])):###划分依据为网站给出
    if data['评分'][i]=='力荐':
        data['分数'][i]=50
    if data['评分'][i]=='推荐':
        data['分数'][i]=40
    if data['评分'][i]=='还行':
        data['分数'][i]=30
    if data['评分'][i]=='较差':
        data['分数'][i]=20
    if data['评分'][i]=='很差':
        data['分数'][i]=10
    if data['评分'][i]=='无':
        data['分数'][i]=0
data.to_excel('C:\\Users\\dell\\Desktop\\表面数据.xlsx')

对地区进行处理：

local1=[re.sub('[A-Z]','国外',m) for m in local]###对用户地址进行清洗
for k in range(len(local1)):
        if local1[k]=='中国香港':
            local1[k]='香港'
for k in range(len(local1)):
        if local1[k]=='中国台湾':
            local1[k]='台湾'
for k in range(len(local1)):
        if local1[k]=='中国澳门':
            local1[k]='澳门'
da1={'地址':local1}
dat=pd.DataFrame(da1)
dat['地址'][dat['地址'].str.contains('国外')]='国外'
for s in range(len(dat['地址'])):
    if len(dat['地址'][s])>2:
        dat['地址'][s]=dat['地址'][s][0:2]
for k in range(len(dat['地址'])):
        if dat['地址'][k]=='讷河':
            dat['地址'][k]='黑龙江'
dat.to_excel('C:\\Users\\dell\\Desktop\\地区数据.xlsx')

对时间进行处理：

att={'时刻':times}
datt=pd.DataFrame(att)
datt.to_excel('C:\\Users\\dell\\Desktop\\时刻数据.xlsx')
addtimes=[re.sub('\n','无',g) for g in addtime]###对注册时间进行清洗
addtimes=[re.sub('加入','',g) for g in addtimes]
ad={'注册时间':addtimes}
datad=pd.DataFrame(ad)
datad.drop(index=list(datad['注册时间'][datad['注册时间']=='无'].index),inplace=True)
datad.to_excel('C:\\Users\\dell\\Desktop\\注册时间数据.xlsx')

得到的数据如下：
在这里插入图片描述
在这里插入图片描述

5、数据可视化部分

（1）词云图
停用词部分

import pandas as pd
import jieba###导入jieba分词库
import pandas as pd
from tkinter import _flatten###导入展开列表的方法
data=pd.read_excel('C:\\Users\\dell\\Desktop\\表面数据.xlsx')###导入数据
da=data['评论']###提出评论一列
dacut=da.apply(jieba.lcut)###对每一项进行分词
with open('C:\\Users\\dell\\Desktop\\stoplist.txt','r',encoding='utf8') as f:###读入停词表
    stw=f.read()
stw=['\n','',' ','委','真的','里','中']+stw.split()###设定停词表
datacut=dacut.apply(lambda x:[i for i in x if i not in stw])###进行停词处理
datacut

得到的结果如下：
在这里插入图片描述
词频统计

cutname=pd.Series(_flatten(list(datacut)))###展平每一项停词后结果
number=cutname.value_counts()###统计词频

词云图的绘制

import matplotlib.pyplot as plt###画图的库
from wordcloud import WordCloud###导入画词云的库
mask=plt.imread('C:\\Users\\dell\\Desktop\\tipmg.jpg')###读入词云底图
wc=WordCloud(font_path='C:\\Windows\\Fonts\\STHUPO.TTF',mask=mask,background_color='white')###设定词云的字体，底图，背景颜色
plt.figure(figsize=(10,10))###设定画布大小
plt.imshow(wc.fit_words(number))###画出词云
plt.axis('off')###去掉坐标轴
plt.savefig('C:\\Users\\dell\\Desktop\\整体词云.jpg')

在这里插入图片描述
评论与时刻的关系：

date=data['日期'].value_counts()###统计频次
date=date.sort_index()
plt.rcParams['font.sans-serif']=['SimHei']###显示中文
plt.rcParams['axes.unicode_minus'] = False
fig = plt.figure(figsize=(10,8))
plt.plot(range(len(date)), date,marker='o',c='#00DB00')
plt.xticks(range(len(date)), date.index, rotation=45)
plt.grid()
plt.title('短评数量随日期的变化情况')
plt.xlabel("日期")
plt.ylabel('短评数量')
plt.savefig('C:\\Users\\dell\\Desktop\\短评量随时间变化图.jpg')

在这里插入图片描述
评论等级和时间关系：

tmp=pd.DataFrame(0,index=data['日期'].drop_duplicates().sort_values(),
                columns=data['分数'].drop_duplicates().sort_values())###创建新的数据框
data['分数'].drop_duplicates().sort_values()###统计频次
data.loc[:,['日期','分数']]
for i,j in zip(data['日期'],data['分数']):###统计分数段出现次数
    tmp.loc[i,j] += 1
n,m = tmp.shape
plt.figure(figsize=(10,5))
plt.rcParams['axes.unicode_minus'] = False
for i in range(m):
    plt.plot(range(n),(-1 if i<3 else 1)*tmp.iloc[:, i],)
    plt.fill_between(range(n), (-1 if i<3 else 1)*tmp.iloc[:, i], alpha=0.8) ###循环画图
plt.grid()
plt.legend(tmp.columns)
plt.xticks(range(n), tmp.index,rotation=45)
plt.savefig('C:\\Users\\dell\\Desktop\\评分随时间变化.jpg')
plt.show()

在这里插入图片描述
地理图：
引入库

import matplotlib.pyplot as plt
import pandas as pd
from pyecharts.charts import Geo###导入画地图的库
import pyecharts.options as opts###设定风格
from pyecharts.globals import ChartType###设定风格

画图：

data=pd.read_excel('C:\\Users\\dell\\Desktop\\地区数据.xlsx')###导入数据
da1=data['地址'][data['地址'][data['地址']!='国外'].index]###筛选出国内数据
da1=da1.value_counts()###统计个数
###画图
(Geo()
 .add_schema(maptype='china',itemstyle_opts=opts.ItemStyleOpts(color="#005757", border_color="#fff"))
 .add(series_name='',data_pair=[(i,j) for i,j in zip(da1.index,da1.values)],type_=ChartType.HEATMAP)
 .set_series_opts(label_opts=opts.LabelOpts(is_show=False))
 .set_global_opts(visualmap_opts=opts.VisualMapOpts())
).render_notebook()

在这里插入图片描述

5、总结

大体的步骤就是以上啦，今后还会有小爬虫的发布的，谢谢大家！！！奥里给！

标签：__,plt,流浪,爬取,影评,import,div,data,###
来源： https://blog.csdn.net/WjoKe/article/details/107004444

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

关于我们 | 联系我们 | 留言反馈

专注分享技术，共同学习，共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有