标签：write sheet soup Python beautifulsoup lists 爬取 item html

库需求

• requests（对网站发起请求）
• beautifulsoup（提取html信息）
• re（正则表达式）
• fake_useragent（生成假的请求头）
• xlwt（处理excel文档）

准备

打开豆瓣Top250书籍网站https://book.douban.com/top250，观察其html特点，找到储存书本信息的位置。

代码

import requests
from bs4 import BeautifulSoup
from fake_useragent import UserAgent
import re
import xlwt
ua=UserAgent()#生成假的请求头

def getBooks(page):
    if page==0:
        url='https://book.douban.com/top250'
    else:
        url='https://book.douban.com/top250'+'?start='+str(page*25) #根据top250的网站url特点进行循环构造
    try:
        user_agent = ua.random
        res = requests.get(url,headers={'User-Agent': user_agent})#利用假的请求头进行请求，以提高爬虫成功率
        html=res.text
        res.raise_for_status()   # 如果返回的状态码不是200， 则抛出异常;
        res.encoding = res.apparent_encoding  # 判断网页的编码格式， 便于respons.text知道如何解码;
    except Exception as e:
        print("爬取错误")
    html=res.text
    return html

def processHtml(html):
    soup=BeautifulSoup(html,"html.parser")
    return soup

def getTitle(soup):
    lists=soup.find_all('div',class_="pl2")#找到储存书籍标题的部分
    titles=[]
    for item in lists:
        url=item.find('a').get('title')
        titles.append(url)#在列表的尾部添加一个元素，达到扩充列表的目的
    return titles#返回主页每一本书对应的题目

def getUrls(soup):
    lists=soup.find_all('div',class_="pl2")
    urls=[]
    for item in lists:
        url=item.find('a').get('href')#寻找每一本书对应的网址
        urls.append(url)#在列表的尾部添加一个元素，达到扩充列表的目的
    return urls#返回主页每一本书对应的网址

def getBasicMessage(soup):
    lists=soup.find_all('p',class_="pl")
    messages=[]
    for item in lists:
        message=item.string #只提取字符串部分，滤去标签
        messages.append(message)
    return messages

def getStars(soup):
    lists=soup.find_all('span',class_="rating_nums")
    stars=[]
    for item in lists:
        star=float(item.string)#只提取字符串，并将评分转化为浮点数形式
        stars.append(star)
    return stars

def getPeopleNumbers(soup):
    lists=soup.find_all('span',class_="pl")
    peoples=[]
    for item in lists:
        people=item.text
        peoples.append(people)
    num = []
    for i in peoples:
        r = re.findall(r"\d+\.?\d*",i)#提取字符串中数字的正则表达式
        num.append(int(r[0]))#将字符串转化为整数
    return num

if __name__ == '__main__':
    book=xlwt.Workbook(encoding='utf-8')#设置文档的编码格式为utf-8
    sheet=book.add_sheet('豆瓣图书Top250')#建立excel工作簿
    sheet.write(0,0,'名称')#在excel中写入标题
    sheet.write(0,1,'网址')
    sheet.write(0,2,'基本信息')
    sheet.write(0,3,'评分')
    sheet.write(0,4,'人数')
    for i in range (0,10):#爬取十个页面(top1-top250)
        print('爬取第%d页的数据'%(i+1))
        html=getBooks(i)
        soup=processHtml(html)
        list1=getTitle(soup)
        list2=getUrls(soup)
        list3=getBasicMessage(soup)
        list4=getStars(soup)
        list5=getPeopleNumbers(soup)
        for n in range (0,25):#将每个页面中每一本书的信息写入excel中
            print('爬取第%d本书'%(i*25+n+1))
            sheet.write(i*25+n+1,0,list1[n])
            sheet.write(i*25+n+1,1,list2[n])
            sheet.write(i*25+n+1,2,list3[n])
            sheet.write(i*25+n+1,3,list4[n])
            sheet.write(i*25+n+1,4,list5[n])
    book.save(u'豆瓣最受欢迎的250本书.xls')#保存文件，注意不能是xlsx
    print("爬取完毕")

效果

标签：write,sheet,soup,Python,beautifulsoup,lists,爬取,item,html
来源： https://blog.csdn.net/m0_51908955/article/details/113888864

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。