ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

Selenium?Puppeteer?都弱爆了,Neter 自己的爬虫神器!Playwright 录制+自动生成结构清晰的代码!

2021-11-26 12:00:07  阅读:296  来源: 互联网

标签:代码生成 playwright Selenium Puppeteer Playwright dotnet


先静下心来,欣赏神器录制的效果,以及生成代码的运行情况(运行项目的时候鼠标是没有任何操作的)

image

牛皮不,这是多少测试人员,采集人员梦想的功能
注意:首先得安装谷歌浏览器 ,不安装后面会报错,找不到文件

接下来我们来介绍一下我们的主角 Playwright

官方地址:https://playwright.dev/
开源地址:https://github.com/microsoft/playwright

没错,你没看错,是微软官方出品,自然少不了对官方语言的支持 .NET 版本
image

让我们参考官方文档快速入门

  • 安装全局工具:
    dotnet tool install --global Microsoft.Playwright.CLI

  • 打开 cmd 命令工具,创建一个控制台应用的Demo项目
    dotnet new console -n PlaywrightDemo
    cd PlaywrightDemo

  • 安装组件
    dotnet add package Microsoft.Playwright
    dotnet build
    playwright install

  • 安装完成后,cmd 进入到项目的根目录输入如下命令
    playwright codegen

  • 然后会自动打开一个浏览器和代码生成器,然后在浏览器里面输入你想操作的网站,并开始各种点击输入等动作,右边的代码生成器就会实时生成优美的代码。(开始操作前,在右侧的代码生成器上选择自己想要生成的语言,默认为 C# )

  • 最后复制右侧生成的代码代开我们新建的demo项目,复制进去运行。

  • 参考官方文档,有的不输于Selenium、Puppeteer的同类型API

不要告诉我不明白为啥要用这玩意,我们 NETCORE 的优秀爬虫已经非常多了,在当今越来越和谐的网络环境中,反爬技术与手段已经魔高一丈了,经常会碰到爬不下来的情况,那我们牺牲性能模拟用户正常行为迫在眉睫,自然涌现出 Selenium、Puppeteer 这种优秀软件。上诉两款软件对 Neter 说至少你的精通 python 和 js 且在元素选择方面各种爬坑。既然是模拟用户行为,那我录制下用户行为后再进行调整,岂不快哉!!!

标签:代码生成,playwright,Selenium,Puppeteer,Playwright,dotnet
来源: https://www.cnblogs.com/rtwo/p/15603370.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有