记录一下如何抓一个网页：
做开发的经常会被问到怎么去抓别人的数据
那么抓数据可以分成 抓接口数据或网页数据
其实都是网络上的内容，有各自的特点
抓接口数据一般通过第三方软件代理http来看到请求实体
而抓网页内容通常我们会叫它爬虫…
那么爬虫是怎么回事呢？
抓取网页有效内容并自动归并处理。
怎么实现：
如何抓-
1、通过第三方框架如phantomjs，webcrawl等，selnium等这些工具各有自己不同的使命。用法也不相同，缺点要求伪造技术高，程序不易被目标站点识别为爬虫。优点：高效便捷，自动化处理
2、通过自己写浏览器插件的形式，由于插件可以与网页内容做交互，所以这里要有一些html 标签以及selector的基础，缺点：要写很多代码，还要弄懂怎么跟浏览器通信，优点不易被网站识别是爬虫，可控性强
3、无侵入式爬取，借用手机，电脑，模拟器自动化处理，实现模拟点按，并自动下载保存.
优点：不易被网站识别，自动化高，缺点：模拟点击的话需要会调用一些人工智能的库，用模拟器的webview的话要会一些移动端的编程经验。
如何取-
取内容的过程比较简单：用一个html组件读取html文本，然后分析如html-parsor
标签：插件,网页,爬虫,html,网页内容,数据 来源： https://www.cnblogs.com/codetime/p/16651863.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。