标签：content novel re Python 爬取 正则表达式 chapt nbsp 小说
1. 引言
各位读者新年好，今天给大家带来的案例是爬取全书网小说全文，主要用到了正则表达式。我们知道，正则表达式一般用来进行格式化的精确匹配，用来爬取多文本的内容非常方便。本次采用面向过程的方法，理解起来较为简单。
2. 代码实现过程
首先进入全书网（网址：https://www.xs4.cc/），随便选一篇小说，比如这个《我在古代日本当剑豪》这一偏小说。点进去之后可以看到已经更新到352章了。
接下来就是正式爬取的过程了，总共分为五个步骤：
- 1 获取小说列表页面源代码
- 2 获取每章的URL
- 3 获取每章的HTML
- 4 通过正则表达式去匹配小说内容
- 5 处理小说内容，并保存
#首先导入需要用到的模块
import requests
import re
import time
import os
#定义抓取函数
def get_book_content():
"""爬取小说"""
header = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.92 Safari/537.36'
}
#1.获取小说列表页面源代码
burl = 'https://www.xs4.cc/14_14983/'
response = requests.get(burl,headers=header)
response.encoding = 'gbk'
html = response.text
title = re.findall(r'<h1>(.*?)</h1>', html)[0]
if not os.path.exists(title):
os.mkdir(title)
reg = r'<dd><a href="(.*?)">(.*?)</a></dd>'
urls = re.findall(reg, html)
i = 1
for url in urls[9:]: #跳过前面的介绍更新章节
#2.获取每章的URL
novel_url0, novel_name = url
novel_url = 'https://www.xs4.cc' + novel_url0
#3.获取每章的HTML
chapt = requests.get(novel_url)
chapt.encoding = 'gbk'
chapt_html = chapt.text
#4.通过正则表达式去匹配小说内容
reg = r'<div id="content"> (.*?)</div>'
chapt_content = re.findall(reg, chapt_html, re.S)
#5.处理小说内容，并保存
chapt_content = chapt_content[0].replace(' ', "")
chapt_content = chapt_content.replace('<br />', "")
print("正在保存 %s" % novel_name)
time.sleep(1) #每次抓取后停顿一秒钟，防止被识别为爬虫，被禁用
file_path = title + '/' + novel_name + '.txt'
with open(file_path, 'w') as f:
f.write(chapt_content)
i += 1
if __name__ == '__main__':
get_book_content()
代码执行后，结果如下：
打开保存的文件夹：
随意打开一个文件，可以看到小说已经完美的被爬下来啦。
So，你学会了吗？欢迎关注微信公众号“爬取你的深度神经网络”获取源代码和更多精彩文章。
标签：content,novel,re,Python,爬取,正则表达式,chapt,nbsp,小说 来源： https://blog.csdn.net/m0_37940048/article/details/115321110
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。