介绍
最近接到一个2万多的小项目，需求是这样的。需要将一个大型网站上的数据爬下来保存到本地。具体项目不方便透漏，这里的演示就以阿里拍卖网站为例。
反爬虫机制有那些？
解决反爬虫之前，我们首先得了解反爬虫机制。
- ip限制反爬虫：免登录反爬虫一般用访问ip来判断你是否在爬虫获取网站信息，这里百度亲测过。当初写 了一个脚本自动爬取百度搜索的结果信息，结果前面试了几次还好。而到后面数据再用脚本爬取结果人家百度不再返回数据了。
- 动态网页与加密混淆网页反爬虫：在有的网页中直接查看源码看到的数据如下图，源码要么被加密混淆要么数据是动态加载，也就是通过源码进行爬虫基本是行不通。但这样的页面也有个弊端，就是不利于seo优化，我们都知道seo也是通过爬虫来收录你的个人网站信息的。
- 强制登录反爬虫：有没有发现当我们通过浏览器搜索淘宝里的商品时，搜索的次数多了直接弹出登录界面，而且后续也不会再让你搜索了。这就是一个典型的强制登录做的反爬虫。我们用代码几乎很难去模拟正常的用户信息。所以这样的反爬虫几乎阻断了一切脚本爬虫。
如何解决这些反爬虫机制？
所谓“道高一丈，魔高一尺”，上有政策，我们下有对策。
标签：登录,为例,爬虫,爬取,源码,搜索,数据 来源： https://blog.csdn.net/guige8888811/article/details/114825032
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。