ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

爬虫技术-验证码处理

2022-09-09 09:01:46  阅读:232  来源: 互联网

标签:img 处理 app random 爬虫 验证码 im font


验证码反爬虫

1. 简介

​ 我们在浏览网站的时候经常会遇到各种各样的验证码,在多数情况下这些验证码会出现在登录账号的时候,也可能会出现在访问页面的过程中,严格来说,这些行为都算验证码反爬虫。

样例:https://my.cnki.net/Register/CommonRegister.aspx?returnUrl=https://www.cnki.net

1.1 验证码得作用

它有什么用呢?当然很多用处,如:

  • 网站注册的时候加上验证码,可以一定程度上防止恶意大批量注册。
  • 网站登录的时候加上验证码,可以一定程度上防止恶意密码爆破。
  • 网站在发表评论的时候加上验证码,可以在一定程度上防止恶意灌水。
  • 网站在投票的时候加上验证码,可以在一定程度上防止恶意刷票。
  • 网站在被频繁访问的时候或者浏览行为不正常的时候,一般可能是遇到了爬虫,可以一定程度上防止爬虫的爬取。

总的来说呢,以上的行为都可以称之为验证码反爬虫行为。使用验证码可以防止各种可以用程序模拟的行为。有了验证码,机器要想完全自动化执行就会遇到一些麻烦,当然这个麻烦的大小就取决于验证码的破解难易程度了。

2. 图形验证码

2.1 逆向目标

2.2 逆向分析

2.2.1 图形验证码组成

地址:http://app.gjzwfw.gov.cn/jmopen/verifyCode.do?width=100&height=55&random=0.9567858374678466

彩色图像通常由多种颜色组成,几乎所有颜色都可以由三种原色(红色,绿色和蓝色)生成,即RGB图像。

在这里插入图片描述

查看RGB: https://www.office26.com/rgb.html

import random
from PIL import Image, ImageDraw, ImageFont

width, height, font_size, font_num = 300, 100, 48, 5
bg_color = (random.randint(0, 255), random.randint(0, 255), random.randint(0, 255)) # 背景颜色
image = Image.new(mode='RGB', size=(width, height), color=bg_color) # 画布
draw = ImageDraw.Draw(image, mode='RGB')     # 绘图类
font = ImageFont.truetype("C:\Windows\Fonts\Arial.ttf", font_size)  # 字体
verify = str()
for i in range(font_num):
    x = random.randint(i * (width / font_num), (i + 1) * (width / font_num) - font_size)
    y = random.randint(0, height - font_size)
    char = random.choice([chr(alpha) for alpha in range(65, 91)] + [str(num) for num in range(10)]) # 随机参数拼接给verify
    verify += char
    color = (random.randint(0, 255), random.randint(0, 255), random.randint(0, 255))
    draw.text((x, y), char, fill=color, font=font)
print(verify)
image.show()
  1. Image模块中的new()函数,创建一张图片(画布),用于绘图。

  2. 传入3个参数,画布的模式(RGB表示真彩图片)、尺寸和颜色,画布的颜色就是验证码中的背景颜色。

  3. 实例化一个ImageDraw类的对象draw,执行绘图。对象draw调用对应的方法执行绘图,使用draw对象将验证码中的字符画在画布

2.2.2 验证码返回
  • 可以采用flask框架返回对应的数据
from flask import Flask, Response, make_response
import xl_tests
data = []
app = Flask(__name__)
@app.route('/')
def index():
    text,img = xl_tests.get_image()
    data.append(text)
    print(data)
    data.clear()
    resp = make_response(img)
    resp.content_type = "image/png"
    return resp

if __name__ == '__main__':
    app.run()
2.2.3 验证码识别

开源地址:https://github.com/sml2h3/ddddocr

import ddddocr
ocr = ddddocr.DdddOcr()
with open("verifyCode.png", 'rb') as f:
    img_bytes = f.read()
red = ocr.classification(img_bytes)
print(red)

3. 图像处理pillow

3.1 简介

Python Imaging Library(简称:PIL)是一个基于 Python 的图像处理库,这个库提供了广泛的文件格式支持、高效的内部表示和相当强大的图像处理能力。旨在快速访问几种基本像素格式存储的数据,为通用图像处理工具提供坚实的基础

官网:https://pillow.readthedocs.io/en/stable/reference/Image.html

3.2 使用

3.2.1 环境安装
pip install pillow==8.1.2  -i https://pypi.tuna.tsinghua.edu.cn/simple/
3.2.2 模块基本操作
  • 读取基本信息

    im = Image.open('dm.jpg')
    print(im.size)
    print(im.mode)
    print(im.info)
    
  • 图片压缩与旋转

    ims = im.resize((128,128))
    ims.show()
    ims = im.rotate(50)
    img = im.transpose(Image.FLIP_TOP_BOTTOM)
    
  • 图像张贴

    img_re = Image.open('test.png')
    res = img_re.resize((200,200))
    im.paste(res,box= [608,74])
    im.show()
    
  • 圈核心位置:从220 0起点画长600 高489的图形

    draw = ImageDraw.Draw(im)
    draw.rectangle([220,0,600,489],fill=None,width=5,outline='green')
    im.show()
    
  • 边缘提取和高斯模糊

    img_edg = im.filter(ImageFilter.FIND_EDGES)
    img_edg.show()
    im_b = im.filter(ImageFilter.GaussianBlur(radius=3))
    im_b.show()
    

4. 验证码突破实战

4.1 验证码突破

4.1.1 获取验证码
def img_read():
    session = requests.session()
    ocr = ddddocr.DdddOcr()
    headers= {
    "Cookie": "JSESSIONID=3F0E43F4D1024D9BEA08E7A7AF5B4251; HWWAFSESID=5e93925f31d32fef0f0; HWWAFSESTIME=1661863949069; JMOPENSESSIONID=2aa3d571-6433-4e44-adb7-ae1d5b6ace78",
}
    session.headers = headers
    res = session.get('http://app.gjzwfw.gov.cn/jmopen/verifyCode.do?width=100&height=55&random=0.08462383677727381').content
    with open('ss.png','wb') as ffff:
        ffff.write(res)
    red = ocr.classification(res)
    return red
4.2.2 验证码验证
def ocr_img():
    session = requests.session()
    # 头部参数 顺序  反爬虫
    headers = {
    "Cookie": "JSESSIONID=3F0E43F4D1024D9BEA08E7A7AF5B4251; HWWAFSESID=5e93925f31d32fef0f0; HWWAFSESTIME=1661863949069; JMOPENSESSIONID=2aa3d571-6433-4e44-adb7-ae1d5b6ace78",
    "Referer": "http://app.gjzwfw.gov.cn/jmopen/webapp/html5/hnsqymckkfcx/index.html",
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Safari/537.36"
}
    url = 'http://app.gjzwfw.gov.cn/jmopen/checkValiCode.do'
    s = img_read()
    session.headers = headers
    print(s.lower())
    data = {
        "code": s.lower()
    }
    res = session.post(url,data=data)
    print(res.text)
4.4.3 获取数据
def get_data():
    headers = {
        "Referer": "http://app.gjzwfw.gov.cn/",
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Safari/537.36"
    }
    url = "http://apis.zwfw.hunan.gov.cn/H006/custom/search/addressn"
    params = {
        "jz": "1",
        "sz": "430100",
        "qx": "430121"
    }
    response = requests.post(url, headers=headers, params=params, verify=False)
    print(response.text)

标签:img,处理,app,random,爬虫,验证码,im,font
来源: https://www.cnblogs.com/feng0815/p/16669999.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有