（一）选题背景 当今世界电子小说阅读走进千家万户，其中各大网络电子小说网站更是琳琅满目，为了 探寻网站签约作家的各小说作品的热度对比。 我选择了纵横小说网的无罪作家来作为我本学期爬虫程序设计作业。 （二）主题式网络爬虫设计方案 1.主题式网络爬虫名称：
我们把小说名、是否完结、男主名字、女主名字都给爬取下来 import requests import re url = "http://m.pinsuu.com/paihang/nanpindushi/" headers = { "User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko)
''' 获取全书网的任意一本书的正文,每个章节为一个txt文件(如果章节太多可以获取前5章),这些文件全部放在以书名命名的文件夹中 ''' import os import re from urllib.parse import quote import requests class QuanShu: def __init__(self, name=''): name = quo
