【网站可用性自动化监测】python+seleium

2022-02-01 19:00:03 阅读：210 来源： 互联网

标签：domain python 可用性 url seleium now options png browser

【网站可用性自动化监测】python+seleium

前倾提要：做了网络安全后重保期间需要对用户系统每日进行监测，相关监测脚本网上其实也有很多，但能自己个性化做一下也挺好，太久没做小程序需要写下代码巩固。

本次程序开发目的是重保期间每天分三个时间点对多个网站进行访问监测可用性，并截图，如发现异常把异常站点推送至微信助手并记录

分三大功能函数：网站访问、网站列表读取、定时执行函数

第一部分网站列表读取 代码片.

def get_page_png(urls, browser,now_folder):
    die_domain = []
    '''
    从一个地址列表里，逐个访问，可以访问的地址就截图
    '''
    for url in urls:
        png_namea = url.replace('//', '_').replace('.', '_').replace('/', '_').replace(':',"_")
        png_name = png_namea + '.png'
        try:
            # 屏蔽requests的ssl warning警告信息
            urllib3.disable_warnings()
            response = requests.get(url=url, headers=headers, timeout=10, verify=False)
            if response.status_code == 200:
                # 访问url
                # print('url:',url)
                browser.get(url)
                # 保存截图
                browser.save_screenshot(f"./{now_folder}/{png_name}")
                print(f"{png_name} 保存成功")
        except:
            now_404 = f"{url} 无法访问！"
            print(now_404)
            mychat(now_404)
            die_domain.append(url)
            pass
    now_die_domain(die_domain)

第二部分网站访问 代码片.

def main():
    '''
    主函数
    '''
    # 构造url
    print(time.strftime("%Y-%m-%d %H:%M"))
    urls = []
    with open("domain_list.txt", "r") as f:
        for domain in f.readlines():
            urls.append(domain.strip())
    # 选项设置
    options = webdriver.ChromeOptions()
    # 指定chrome浏览器路径
    # options.binary_location = r"C:\\Program Files\\Google\\Chrome\\Application"
    # 终端不显示日志
    options.add_experimental_option('excludeSwitches', ['enable-logging'])
    # # 设置无头模式
    # chrome_options = Options()
    # chrome_options.add_argument('--headless')
    # chrome_options.add_argument('--disable_gpu')
    # 设置无头模式
    options.add_argument('--headless')
    options.add_argument('--disable_gpu')
    # 实例化一个浏览器对象
    # browser = webdriver.Chrome(executable_path='./chromedriver.exe', options=options)
    # s = Service("chromedriver.exe")
    browser = webdriver.Chrome(options=options)
    # 设置屏幕最大化
    browser.maximize_window()
    # 执行浏览器访问
    now_folder = new_folder()
    get_page_png(urls, browser,now_folder)
    # 访问结束后退出
    browser.quit()

第三部分定时执行 代码片.

def mytime():
    schedule.every().day.at("10:00").do(main)#里面时间进行修改
    schedule.every().day.at("13:00").do(main)
    schedule.every().day.at("16:00").do(main)

    while True:
        try:
            schedule.run_pending()
            time.sleep(1)
        except Exception as e:
            print('报错:',e)

完整代码 代码片.

#!/usr/bin/env python
# -*- coding:utf-8 -*-

import requests
import os
import time
import urllib3
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
import schedule
#import itchat#此库是调用网页版微信，可自动化使用微信，但测试中发现大部分用户在扫描二维码阶段出现异常，排查结果说是微信安全屏蔽了此接口调用，运气好的可以试试(我可以使用)

#根据时间创建保存网站截图的文件夹
def new_folder():
    s = time.strftime("%Y%m%d%H%M")
    os.mkdir("http_pic" + s)
    f = "http_pic" + s
    return f

def get_page_png(urls, browser,now_folder):
    die_domain = []
    '''
    从一个地址列表里，逐个访问，可以访问的地址就截图
    '''
    for url in urls:
        png_namea = url.replace('//', '_').replace('.', '_').replace('/', '_').replace(':',"_")
        png_name = png_namea + '.png'
        try:
            # 屏蔽requests的ssl warning警告信息
            urllib3.disable_warnings()
            response = requests.get(url=url, headers=headers, timeout=10, verify=False)
            if response.status_code == 200:
                # 访问url
                # print('url:',url)
                browser.get(url)
                # 保存截图
                browser.save_screenshot(f"./{now_folder}/{png_name}")
                print(f"{png_name} 保存成功")
        except:
            now_404 = f"{url} 无法访问！"
            print(now_404)
            #mychat(now_404)#发送无法网站站点给微信助手
            die_domain.append(url)
            pass
    now_die_domain(die_domain)

#导出无法访问站点.txt文件
def now_die_domain(die_domain):
    if die_domain:
        f = open("无法访问的站点.txt", "a")
        f.write(time.strftime(f"%Y-%m-%d %H:%M") + "\n")
        for domain in die_domain:
            f.write(domain + "\n")
        f.close()

def main():
    '''
    主函数
    '''
    # 构造url
    print(time.strftime("%Y-%m-%d %H:%M"))
    urls = []
    with open("domain_list.txt", "r") as f:
        for domain in f.readlines():
            urls.append(domain.strip())
    # 选项设置
    options = webdriver.ChromeOptions()
    # 指定chrome浏览器路径
    # options.binary_location = r"C:\\Program Files\\Google\\Chrome\\Application"
    # 终端不显示日志
    options.add_experimental_option('excludeSwitches', ['enable-logging'])
    # # 设置无头模式
    # chrome_options = Options()
    # chrome_options.add_argument('--headless')
    # chrome_options.add_argument('--disable_gpu')
    # 设置无头模式
    options.add_argument('--headless')
    options.add_argument('--disable_gpu')
    # 实例化一个浏览器对象
    # browser = webdriver.Chrome(executable_path='./chromedriver.exe', options=options)
    # s = Service("chromedriver.exe")
    browser = webdriver.Chrome(options=options)
    # 设置屏幕最大化
    browser.maximize_window()
    # 执行浏览器访问
    now_folder = new_folder()
    get_page_png(urls, browser,now_folder)
    # 访问结束后退出
    browser.quit()

#把无法访问站点发送给微信助手，可以用腾讯短信功能代替，但需要开发对应小程序并申请(https://cloud.tencent.com/search/%E7%9F%AD%E4%BF%A1/1_1)
def mychat(now_404):
    a = now_404
    itchat.send(a, toUserName='filehelper')
    # print('已发送',a)

def mytime():
    schedule.every().day.at("10:00").do(main)
    schedule.every().day.at("13:00").do(main)
    schedule.every().day.at("16:00").do(main)

    while True:
        try:
            schedule.run_pending()
            time.sleep(1)
        except Exception as e:
            print('报错:',e)


if __name__ == '__main__':
    #itchat.auto_login(hotReload=True)#微信二维码
    headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 Safari/537.36",
    }
    mytime()

程序运行效果 代码片

在这里插入图片描述
.

在这里插入图片描述
备注：seleium需要指定浏览器和匹配driver文件，本脚本使用的是chrome及对应版本driver(driver下载链接http://chromedriver.storage.googleapis.com/index.html)

标签：domain,python,可用性,url,seleium,now,options,png,browser
来源： https://blog.csdn.net/sinat_32533849/article/details/122765305

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

【网站可用性自动化监测】python+seleium