ICode9

精准搜索请尝试: 精确搜索
首页 > 编程语言> 文章详细

Python爬取豆瓣Top250电影信息

2020-08-09 13:00:16  阅读:395  来源: 互联网

标签:Python movie list inq 爬取 text each Top250 find


1、爬取豆瓣Top250电影信息以文本形式保存 数据:豆瓣电影

2、代码

import requests
from bs4 import BeautifulSoup


def get_movie():
    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.81 Safari/537.36 SE 2.X MetaSr 1.0'}  # 创建头部信息
    movie_list=[['序号','标题','推荐语','演员','链接']]
    for i in range(0,10):
        url = 'https://movie.douban.com/top250?start='+str(i*25)
        response=requests.get(url,headers=headers)
        soup=BeautifulSoup(response.text,"html.parser")
        ol = soup.find('ol', class_='grid_view')
        li_list=ol.find_all('li')
        for each in li_list:
            no=each.find('em').text
            title = each.find('span', class_="title").text
            inq = each.find('span', class_='inq')
            star = each.find('p').text
            href=each.find('a')['href']
            movie_list.append([no,title,inq.text if inq!=None else '',star,href])
    return movie_list
movie=[]
movie=get_movie()
with open("Top_movie_250.txt","a+",encoding="utf-8") as f:
    for i in movie:
        f.write(str(i))
        f.write("\n")
    f.close()
movie.py

 

标签:Python,movie,list,inq,爬取,text,each,Top250,find
来源: https://www.cnblogs.com/MoooJL/p/13462349.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有