标签：文件 HTTP 请求 爬虫 学习 HTML 浏览器 Response

什么是爬虫

通俗理解:爬虫是一个模拟人类请求网站行为的程序。可以自动请求网页、并数据抓取下来，然后使用一定的规则提取有价值的数据。

 通过浏览器查看分析目标网页，学习编程基础规范。获取数据
通过HTTP库向目标站点发起请求，请求可以包含额外的header等信息，如果服务器能正常响应，会得到一个Response，便是所要获取的页面内容。解析内容
得到的内容可能是HTML、json等格式，可以用页面解析库、正则表达式等进行解析。
保存数据
保存形式多样，可以存为文本，也可以保存到数据库，或者保存特定格式的文件。

在浏览器中发送一个http请求的过程:
1.当用户在浏览器的地址栏中输入-个URL并按回车键之后，浏览器会向HTTP服务器发送HTTP请求。HTTP请求主要分为"Get"和"Post"两种方法。
2.当我们在浏览器输入URL http://www.baidu.com 的时候，浏览器发送-个Request请求 去获取http://www.baidu.com的html文
件,服务器把Response文件对象发送回给浏览器。
3.浏览器分析Response中的HTML,发现其中引用了很多其他文件，比如lmages文件， CSS文件，JS文件。浏览器会自动再次发
送Request去获取图片，CSS文件,或者JS文件。
4.当所有的文件都下载成功后，网页会根据HTML语法结构,完整的显示出来了。

标签：文件,HTTP,请求,爬虫,学习,HTML,浏览器,Response
来源： https://blog.csdn.net/m0_63091590/article/details/120835370

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。