ICode9

精准搜索请尝试: 精确搜索
首页 > 编程语言> 文章详细

Python网络爬虫Selenium页面等待:强制等待、隐式等待和显式等待

2022-01-25 21:03:19  阅读:177  来源: 互联网

标签:Python driver 元素 Selenium element 显式 等待 隐式


关于Python网络爬虫Selenium强制等待、隐式等待和显式等待的总结

from selenium import webdriver
import time
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Chrome()
driver.get('https://www.baidu.com')

强制等待

使整个脚本暂停运行。

time.sleep(2)

隐式等待

不同于显式等待,显式等待针对的是目标元素,而隐式等待针对的是全局的所有的元素。
如果设置等待十秒,可以理解为在10秒内不停刷新整个页面,看目标元素是否加载出来
如果时间还没到找到了目标元素,就不再继续等待,程序继续执行。
如果时间到了还没找到目标元素,就报错。
隐式等待使用时只需要声明一次。
网络爬虫中我们用到更多的就是隐式等待。

示例:

driver.implicitly_wait(10)
print(1)
driver.find_element_by_id('su')
print(2)
driver.find_element_by_id('xxx')
print(3)

显式等待

显式等待是单独针对某个元素,表明某个条件成立后才执行获取元素的操作。
以下面代码为例,即目标标签加载出来出后,开始获取该标签。
同上如果时间还没到找到了目标元素,就不再继续等待,程序继续执行。
如果时间到了还没找到目标元素,就报错。
显式等待使用时需要在每个元素前声明

element = WebDriverWait(driver, 10, 1).until(
    EC.presence_of_element_located((By.ID, "kwssxx"))
element.send_keys('xxx')

WebDriverWait()可以设置第三个参数,默认每0.5秒检查一次目标元素是否加载出来了。这里设置为每1秒检查一次。


其他补充

将显式等待写成异常处理的写法,
这样的写法在程序中更友好。如果获取出现错误,则调用我们定义的其他方法。不直接报错。

def demo():
	pass

try:
    element = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.ID, "myDynamicElement"))
    )
except:
    demo()
finally:
    driver.quit()

标签:Python,driver,元素,Selenium,element,显式,等待,隐式
来源: https://blog.csdn.net/weixin_48964486/article/details/122689905

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有