python – Url开放编码

2019-06-20 22:45:08 阅读：145 来源： 互联网

标签：python beautifulsoup python-unicode

我有以下urllib和BeautifulSoup的代码：

getSite = urllib.urlopen(pageName) # open current site   
getSitesoup = BeautifulSoup(getSite.read()) # reading the site content 
print getSitesoup.originalEncoding
for value in getSitesoup.find_all('link'): # extract all <a> tags 
    defLinks.append(value.get('href'))

结果：

/usr/lib/python2.6/site-packages/bs4/dammit.py:231: UnicodeWarning: Some characters could not be decoded, and were replaced with REPLACEMENT CHARACTER.
  "Some characters could not be decoded, and were "

当我尝试阅读网站时,我得到：

�7�e����0*"I߷�G�H����F������9-������;��E�YÞBs���������㔶?�4i���)�����^W�����`w�Ke��%��*9�.'OQB���V��@�����]���(P��^��q�$�S5���tT*�Z

解决方法:

该页面为UTF-8,但服务器以压缩格式将其发送给您：

>>> print getSite.headers['content-encoding']
gzip

在运行Beautiful Soup之前,您需要解压缩数据.我在数据上使用zlib.decompress()时出错了,但是将数据写入文件并使用gzip.open()从中读取工作正常 – 我不知道为什么.

标签：python,beautifulsoup,python-unicode
来源： https://codeday.me/bug/20190620/1249073.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

python – Url开放编码