标签：爬取 get -- top250 --- headers requests 418
1. 问题
使用 python requests 库的 get 方法抓取豆瓣电影top 250，结果返回的是 None，打印状态码看到的是 418
>>> import requests
>>> r = requests.get('https://movie.douban.com/top250')
>>> r.content
b''
>>> r.status_code
418
然后在 HTTP 响应代码 里面查看了下，发现是：
418 I'm a teapot
服务器拒绝尝试用 “茶壶冲泡咖啡”。
2. 原因
这应该是豆瓣服务器做了反爬虫措施，拒绝非浏览器的访问，检测到爬虫就返回一个 418 响应。
本质上 爬虫 也算是一个客户端，通过发送请求去向服务器请求数据，可能是使用 requests.get 生成的 http request 的 header 过于简短，而不被服务器接收，因此我们模拟浏览器的相关 http 请求的 header 就可以了
提示：一般的反爬虫机制为：检查请求头的 User-Agent、Referer、Cookies 等
3. 解决方案
1、构造合理的 HTTP 请求头
使用浏览器访问豆瓣电影 top250，然后按 F12 进入浏览器的开发者模式，查看 Requests Headers，将 request headers 中的 User-Agent 字段复制下来（当然，也可以将所有的 headers 信息复制下来）
步骤： F12 --> NetWork --> F5 刷新页面 --> 查看第一个请求 --> 复制 requests headers
2、成果
>>> import requests
>>> headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36' }
>>> r = requests.get('https://movie.douban.com/top250', headers=headers)
>>> r.status_code
200
>>> r.content
b'<!DOCTYPE html><html lang="zh-CN" class="ua-windows ua-webkit">......'
标签：爬取,get,--,top250,---,headers,requests,418 来源： https://www.cnblogs.com/wanghuizhao/p/16307741.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。