爬虫之lxml库

2021-11-16 20:00:36 阅读：205 来源： 互联网

lxml库（我们将html页面获取后存放在content中，获取的内容仅仅是一个包含所有内容的html字符串，但是Xpath语法是无法直接作用于这样一个字符串进行数据提取的，因此我们用lxml库对所获取的html这样的字符串进行解析，将它还原为一个html页面。即：lxml库只做了一件事就是将html字符串进行解析，供Xpath语法进行数据提取）
1、【etree.HTML()】：lxml中用etree对html进行解析，利用etree.HTML将字符串解析为HTML文档
2、【etree.tostring()】：由于解析出来的文档是一个element类型的文档，无法直接打印，所以得用etree.tostring()对文档进行编码与解码，进而才可以输出它的内容（即：不能用print直接输出第一步解析的HTML文档）
例：

text=\
"""
     ......
"""


from lxml import etree
html=etree.HTML(text)                    #解析网页
print(html)                              #无法得到我们的要的内容
result=etree.tostring(html,encoding='utf-8').decode('utf-8')                 #encoding='utf-8'表示对字符串进行编码，decode='utf-8'表示对字符串进行解码
print(result)

3、【etree.parse()】：（解析器）利用parse函数将html文件导入并解析（如下），但是在某一些情况下，直接使用parse解析会报错，会存在页面的标签缺失不够规整的情况，原因是我们默认使用的是xml解析器，当它计息html页面时，会造成一定错误（如下）

html=etree.parse(r"c://user/hongc/Desktop/baidu.html")
result=etree.tostring(html,encoding='utf8').decode('utf8')
print(result)
#出错

#此时就需要我们自定义一个解析器（如下）
parser=etree.HTMLParser(]encoding='utf8')
html=etree.parse(r'c://user/hongc/Desktop/baidu.html',parser=parser)                 #解析html
result=etree.tostring(html,encoding='utf8').decode('utf8')                                          #对html进行编码并打印（展示）
print(reselt)

4、两种解析html方式：
①发送请求------>html（字符串）------->利用etree解析html获得一个真正的html------>可以使用xpath了
②将网页另存下来------>利用parse进行解析----->得到真正的html----->可以使用xpath了

这只是在简单爬虫中运用到的最最基本的lxml相关知识哦

标签：lxml,etree,爬虫,parse,html,字符串,解析
来源： https://blog.csdn.net/qq_52669357/article/details/121357492

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

爬虫之lxml库