标签：加密 基础 爬虫 概念 密钥 https txt 数据

1.爬虫在使用场景中的分类

　　（1）通用爬虫

　　　　抓去系统的重要组成部分，抓去的是一整张页面的数据

　　  (2)聚焦爬虫

　　　　是建立在通用爬虫的基础上，抓取页面上的指定的局部内容

　　（3）增量式爬虫

　　　　检测网站中数据更新情况，只抓取网站中最新更新出来的数据

2.robots.txt协议：

　　明确规定网站中那些数据可以被爬虫爬取，那些数据不可以被爬取。(https://www.taobao.com/robots.txt)

3.http协议

　　概念：服务器于客户端之间进行数据交互的一种形式

　　常用请求头信息：

　　　　- User-Agent：请求载体的身份标识（包括使用的浏览器的名称版本，使用设备的信息等）

　　　　- Connection：请求完毕后，是断开连接还是保持连接

　　常用的响应头信息：
　　　　-Content-Type：服务器响应回客户端的数据类型

4.https协议：

　　-表示安全的超文本传输协议（会对数据加密）

　　加密方式：

　　　　- 对称密钥加密：

　　　　- 非对称密钥加密

　　　　- 证书密钥加密

标签：加密,基础,爬虫,概念,密钥,https,txt,数据
来源： https://www.cnblogs.com/jxyl/p/16534436.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。