标签：Xpath info xpath url text 豆瓣 boo td Top250

import requests
from lxml import etree
import csv
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36'
}

'''
需求分析：爬取豆瓣读书Top250
需要的信息：书名、url、作者、出版社、出版年、定价、评分、多少人评价、 评价
将爬取的信息保存为csv文件

'''
def get_info(url):
    res = requests.get(url, headers=headers)
    html = etree.HTML(res.text)
    infos = html.xpath('//tr[@class="item"]')
    for info in infos:
        book_name = info.xpath('./td/div/a/@title')[0].strip()  # 书名
        url = info.xpath('./td/div/a/@href')[0]         #url
        boo_info = info.xpath('./td/p/text()')[0].strip()
        author = boo_info.split('/')[0]  # 作者
        press = boo_info.split('/')[-3]  # 出版社
        year = boo_info.split('/')[-2]  # 出版年
        price = boo_info.split('/')[-1].strip()  # 定价
        score = info.xpath('./td/div/span[2]/text()')[0]  #评分
        ev_number = info.xpath('./td/div/span[3]/text()')[0].strip('()').strip()  #评价人数
        co_abstracts = info.xpath('./td/p/span/text()')  #内容简介
        co_abstract = co_abstracts[0] if len(co_abstracts) != 0 else "空"
        wr.writerow((book_name,url,author,press,year,price,score,ev_number,co_abstract))

if __name__ =='__main__':
    f = open('豆瓣读书.csv','wt',newline='',encoding='utf-8')
    wr = csv.writer(f)
    wr.writerow(('书名','URL','作者','出版社','出版年','定价','评分','评价人数','评价'))
    urls = ['https://book.douban.com/top250?start={}'.format(str(num)) for num in range(0,250,25)]
    for url in urls:
        get_info(url)

f.close()

ps:该程序有缺陷，有几个地方定位不是很准确

结果展示

标签：Xpath,info,xpath,url,text,豆瓣,boo,td,Top250
来源： https://www.cnblogs.com/lyqLovellx/p/15201898.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。