标签：qq Python 爬虫 博客 blog 概述 article net

前言

经过一段时间摸索爬虫，现在对python 爬虫整个知识框架进行一个总结

一、Python 爬虫知识架构图

1. 我将爬虫技术分为两个业务场景，一个是静态页面数据，另一个是有ajax、js动态加载之后的网页数据
2. 爬虫技术我将之分为两大类，一类为网页URL处理与下载技术（urlib、requests、selenium等），另一类为数据数据解析技术（re、lxml、bs4、selenium等）
3. 为了方便、快速开发网络爬虫，对底层url处理与数据处理进行高层次封装，引出scripy框架。基于框架开发，方便、省力。

二、Python 爬虫

1. 爬虫基础技术

urllib库博客： https://blog.csdn.net/qq_40494873/article/details/120406457

requests库博客：https://blog.csdn.net/qq_40494873/article/details/120774560

re模块博客：https://blog.csdn.net/qq_40494873/article/details/120797490?spm=1001.2014.3001.5502

lxml库博客：https://blog.csdn.net/qq_40494873/article/details/121195003

bs4模块博客：

selenium模块博客：

2.爬虫框架技术

scripy库博客：

总结

提示：这里对文章进行总结：
例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。

标签：qq,Python,爬虫,博客,blog,概述,article,net
来源： https://blog.csdn.net/qq_40494873/article/details/122849287

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。