标签：info title python text get find 爬取 250 div

from bs4 import BeautifulSoup
import requests
import pandas as pd

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}

res_data = []
for i in range(1, int(250 / 25) + 1):
    page = i * 25 - 25
    url = 'https://movie.douban.com/top250?start=' + str(page)
    movie = BeautifulSoup(requests.get(url, headers=headers).text, 'html.parser')
    info_list = movie.findAll('div', {'class': 'info'})
    for div in info_list:
        title = div.find('div', {'class': 'hd'})
        title_text = ''.join(title.get_text().strip().split('\n')[:-1])

        info = div.find('div', {'class': 'bd'})
        info1 = [i.strip() for i in info.find('p').get_text().strip().split('\n')]
        personnel = info1[0]
        type_ = info1[1]
        try:  # 有些电影没有简介
            quote = div.find('p', {'class': 'quote'}).get_text().strip()
        except:
            quote = None

        res_data.append([title_text, yanyuan, leixing, quote])

pd.DataFrame(res_data, columns=['电影', '导演&演员', '时间&分类', '简介']).to_excel('./movieTop250.xlsx', index=False)

标签：info,title,python,text,get,find,爬取,250,div
来源： https://blog.csdn.net/weixin_46871594/article/details/118605623

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。