标签：web 代码 写入 爬取 html 源代码 数据 页面

一、爬取百度页面代码写入到文件

代码示例：

from urllib.request import urlopen    #导入urlopen包

url="http://www.baidu.com"            #需要爬取网页的网址
resp=urlopen(url)
with open("mybaidu.html",mode="w",encoding="utf-8") as f:    #encoding="utf-8"防乱码
    f.write(resp.read().decode())#将爬取到的代码写入到文件中，decode()用于解码，防止中文乱码
    print("爬取完成！")

二、　web请求过程解析

1.服务器渲染：在服务器直接将数据和html整合在一起，特点为在html源代码中可以看到数据。
例：在百度中搜索“李白”，得到的页面及解析如下：

 很明显在html源代码中可以看到数据。

2.客户端渲染：客户端发送两次请求，第一次请求得到html代码，第二次得到数据，在客户端中将二者整合呈现给用户。
       特点：在html源代码中无法看到数据
例：查看豆瓣分类排行榜页面，其预览中并没有展示数据，由此可见其源代码中没有数据。

 在下面的请求中可以看到数据：

标签：web,代码,写入,爬取,html,源代码,数据,页面
来源： https://www.cnblogs.com/zyj3955/p/15012457.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。