标签：网页 入门 encoding text 爬虫 html inner utf

爬虫解析库：XPath

dateTime = inner_html.xpath('//span[@class="laiyuan laiyuan1"]/span[@id="data"]/text()')

• 属性选择@，class、id等等。
• 子孙结点用//，子节点用/。
• /text()转换文本。//text()在上一级转换为str列表也很方便。
  简书爬虫解析库：XPath

etree解析网页

转换为string，查看html。

inner_html = etree.tostring(inner_html, encoding='utf-8', pretty_print=True, method="html").decode('utf-8')

requests获取网页

def get_page(url):
    try:
        header = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.87 Safari/537.36'}
        r = requests.get(url, headers=header)
        r.encoding = 'GBK'
        r.encoding = 'utf-8'
        r.raise_for_status()
        return (r.text)
    except:
        print("出现异常")
        return ""

解决乱码问题：
需要针对headers具体情况编码，Python爬虫中文乱码问题

标签：网页,入门,encoding,text,爬虫,html,inner,utf
来源： https://www.cnblogs.com/zzai/p/crawler.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。