标签:selenium 下拉到 driver height 滚动条 sleep time new browser
1. 微信文章动态爬取的一个例子
import time from selenium import webdriver driver = webdriver.Chrome() driver.get("https://mp.weixin.qq.com/s/FCsJMGlWvwfR18YtLSLKtQ") time.sleep(1) # 执行这段代码,会获取到当前窗口总高度 js = "return action=document.body.scrollHeight" # 初始化现在滚动条所在高度为0 height = 0 # 当前窗口总高度 new_height = driver.execute_script(js) while height < new_height: # 将滚动条调整至页面底部 for i in range(height, new_height, 100): driver.execute_script('window.scrollTo(0, {})'.format(i)) time.sleep(0.5) height = new_height time.sleep(2) new_height = driver.execute_script(js) # window下保存文件要转码utf-8 with open(r'b.html', 'wb') as f: f.write(driver.page_source.encode('utf-8')) driver.close()
参考:https://blog.csdn.net/weixin_44673043/article/details/104971675
二. 微博模拟登陆 1. 百度搜微博开放平台可满足爬取量不大的情况 2. 微博模拟登陆和下拉鼠标应对ajax加载
from selenium import webdriver import time browser = webdriver.Chrome() browser.get('https://www.weibo.com') time.sleep(10) browser.find_element_by_css_selector("#loginname").send_keys("13880576568") browser.find_element_by_css_selector(".info_list.password input[node-type='password']").send_keys("shiyan823") browser.find_element_by_css_selector(".info_list.login_btn a[node-type='submitBtn']").click() # 鼠标下拉 for i in range(3): browser.execute_script('window.scrollTo(0, document.body.scrollHeight)') time.sleep(3)
标签:selenium,下拉到,driver,height,滚动条,sleep,time,new,browser 来源: https://www.cnblogs.com/regit/p/14913900.html
本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享; 2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关; 3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关; 4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除; 5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。