Python爬虫 Day 1.1

2019-07-01 17:03:17 阅读：230 来源： 互联网

标签：请求 Python res 537.36 token session login Day 1.1

'''
POST 请求自动登陆github:
     请求URL：
     https://github.com/session
     请求方式：
     POST
     请求头:
     Cookie
     User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3704.400 QQBrowser/10.4.3587.400
     请求体：
        commit: Sign in
utf8: ✓
authenticity_token: SFckS0VpuFLaTQ2oEb3YkoeZBymkzqgumq4IJfRODp8Syrk/u+KruBFS6SbwnrKhaF0E6YBZ1IUs+aVWsZ8lWg==
login: *******
password: *******
webauthn-support: supported
'''

# 1.获取token随机字符串
'''
    请求URL

    请求方式
        GET

    请求头
        COOKIES
        User-Agent:
2.解析并提取token字符串
#正则
<input type="hidden" name="authenticity_token" vale="(x*?)"/>
'''
import requests
import re
login_url = 'https://github.com/login'
# login页面的请求头信息
login_header = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3704.400 QQBrowser/10.4.3587.400'}
login_res = requests.get(url=login_url, headers=login_header)
# print(login_res.text)
# 解析提取token字符串
authenticity_token = re.findall('<input type="hidden" name="authenticity_token" value="(.*?)" /> ',login_res.text,re.S)[0]
print(authenticity_token)

# 获取login页面的cookies信息
print(type(login_res.cookies))
print(type(login_res.cookies.get_dict()))
login_cookies = login_res.cookies.get_dict()
# 2.开始登录github
'''
POST请求自动登录github:
    请求URL：
    https://github.com/session
    请求方式：
        POST
    请求头：
        Cookies
        User-Agent:Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3704.400 QQBrowser/10.4.3587.400
    请求体：
        commit: Sign in
utf8: ✓
authenticity_token: SFckS0VpuFLaTQ2oEb3YkoeZBymkzqgumq4IJfRODp8Syrk/u+KruBFS6SbwnrKhaF0E6YBZ1IUs+aVWsZ8lWg==
login: *******
password: *******
webauthn-support: supported
'''
# session登录url
session_url = 'https://github.com/session'
# 请求头信息
session_headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3704.400 QQBrowser/10.4.3587.400'}
# 请求体信息
form_data = {"commit": "Sign in",
"utf8": "✓",
"authenticity_token": authenticity_token,
"login": "******",
"password": "******",
"webauthn-support": "supported"}
session_res = requests.post(url=session_url,
                            headers=session_headers,
                            cookies=login_cookies,
                            data=form_data
                            )
with open('github3.html','w',encoding='utf-8') as f:
    f.write(session_res.text)

标签：请求,Python,res,537.36,token,session,login,Day,1.1
来源： https://www.cnblogs.com/merliah/p/11115079.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

Python爬虫 Day 1.1