ICode9

精准搜索请尝试: 精确搜索
首页 > 编程语言> 文章详细

python接口自动化35-pyppeteer-install下载没反应,r.html.render() 下载无反应问题解决

2021-06-03 09:54:44  阅读:269  来源: 互联网

标签:render zip python pyppeteer chrome html chromium 下载


前言

使用requests-html库渲染html页面的时候,初次使用需下载 chromium 浏览器,但是这个地址是从国外下载的,所以慢的你怀疑人生,你懂得!
pyppeteer-install下载没反应,r.html.render() 下载无反应?看完这篇就能解决!
requests-html 是干什么用的呢?这个可以看之前这篇介绍https://www.cnblogs.com/yoyoketang/p/10663392.html

环境准备

先下载requests-html库

pip install requests-html==0.10.0 --index-url https://pypi.douban.com/simple

遇到问题

初次使用的时候,需先下载chromium 浏览器,下载方法有2种

第一种:使用命令行下载

>pyppeteer-install
[W:pyppeteer.chromium_downloader] start chromium download.
Download may take a few minutes.

如果一直出现 Download may take a few minutes. 很长时间不动,或者跟蜗牛爬的一样慢。

第二种:使用r.html.render() 下载

from requests_html import HTMLSession
session = HTMLSession()

r = session.get('https://www.cnblogs.com/yoyoketang/')
r.html.render()  # 首次使用,自动下载chromium

运行代码后,也跟上面一样出现 Download may take a few minutes. 很长时间不动,或者跟蜗牛爬的一样慢。

主要原因是下载地址是国外的!

替换下载源

既然已经知道是下载地址的问题了,那么我们只需在源码里面找到对应的下载地址,替换国内的下载源即可。
打开pycharm,找到External Libraries> site-packages 下的pyppeteer包

修改 chromium_downloader.py 文件,找到如下内容修改

downloadURLs = {
    'linux': f'{BASE_URL}/Linux_x64/{REVISION}/chrome-linux.zip',
    'mac': f'{BASE_URL}/Mac/{REVISION}/chrome-mac.zip',
    'win32': f'{BASE_URL}/Win/{REVISION}/{windowsArchive}.zip',
    'win64': f'{BASE_URL}/Win_X64/{REVISION}/{windowsArchive}.zip',
}

我的是windows 64位电脑,所以修改后为

downloadURLs = {
    'linux': f'{BASE_URL}/Linux_x64/{REVISION}/chrome-linux.zip',
    'mac': f'{BASE_URL}/Mac/{REVISION}/chrome-mac.zip',
    # 'win32': f'{BASE_URL}/Win/{REVISION}/{windowsArchive}.zip',
    # 'win64': f'{BASE_URL}/Win_X64/{REVISION}/{windowsArchive}.zip',
    'win32': 'https://npm.taobao.org/mirrors/chromium-browser-snapshots/Win/575458/chrome-win32.zip',
    'win64': 'https://npm.taobao.org/mirrors/chromium-browser-snapshots/Win_x64/575458/chrome-win32.zip',
}

下面是各系统的chromium压缩包下载地址

替换完成后,在命令行输入 pyppeteer-install即可下载

>pyppeteer-install
[W:pyppeteer.chromium_downloader] start chromium download.
Download may take a few minutes.
......
chromium download done.
[W:pyppeteer.chromium_downloader] chromium extracted to: C:\Users\dell\AppData\Local\pyppeteer\pyppeteer\local-chromium\588429

这个时候下载速度就非常快了。

下载本地安装

如果不想通过命令行下载,也可以自己下载安装包的方式安装,上面命令行下载完成后的安装地址是:C:\Users\用户名\AppData\Local\pyppeteer\ 目录
于是可以先下载安装包:https://npm.taobao.org/mirrors/chromium-browser-snapshots/Win/575458/chrome-win32.zip,下载完成后放到如下目录

C:\Users\自己电脑用户名\AppData\Local\pyppeteer\pyppeteer\local-chromium\588429\ 解压 chrome-win32.zip 文件

这种本地安装方式也可以

标签:render,zip,python,pyppeteer,chrome,html,chromium,下载
来源: https://blog.51cto.com/u_15249893/2848790

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有