python实现三种随机请求头方式

2020-09-18 07:01:44 阅读：403 来源： 互联网

标签：like python KHTML Mozilla Chrome 537.36 三种随机 Safari

实现的一个随机请求头的一个第三方库，如下：
import random
import csv

class GetUserAgentCS(object):
"""
调用本地请求头文件，返回请求头
"""

def __init__(self):
    with open('D://pyth//scrapy 项目//setting//useragent.csv', 'r') as fr:
        fr_csv = csv.reader(fr)
        self.user_agent = [str(i[1]) for i in fr_csv]

def get_user(self):
    return random.choice(self.user_agent)

useragent文件如下：

1,"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36,Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.93 Safari/537.36"
2,"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36,Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1599.17 Safari/537.36"
3,"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36,Mozilla/5.0 (X11; NetBSD) AmyqgWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.116 Safari/537.36"
4,"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36,Mozilla/5.0 (X11; CrOS i686 3912.101.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.116 Safari/537.36"
5,"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36,Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.93 Safari/537.36"

代码很简单的，读取本地的csv文件，然后random一个出去就行了，那现在就有人问我，你这个文件怎么来的, 很简单啊，自然就有方法了，待会在下一个模块我会讲到，在这里，我们只需要编写一个GetUserAgentCS类就可以，代码可以直接抄我上面的，然后保存为get_useragent.py 就可以了，然后你把这个包文件放在你自己爬虫文件夹的地方，然后这样调用:

from get_useragent import GetUserAgentCS
headers = {}
ua = GetUserAgentCS().get_user()
headers['user-agent'] = ua
return headers

如果你在这个调用GetUserAgentCS 不成功，或者底下会出现红色的波浪线，那么就是你没有设置当前工作环境，你只需要这么设置（设置你的爬虫文件夹）：

在这里插入图片描述
你需要点击 Sources Root 就可以了！

使用第三方库 fake-useragent：
这是一个别人已经写好的第三方库，你需要安装然后调用API 就可以了，它可以获取各种的请求头，唯一的缺点就是请求不稳定，有的时候网络波动就可能导致获取不成功，用于Scrapy中，不是很舒服，所以我在这个包的基础上，编写了如上我自己的包，至于请求头的数据怎么来的，就是在这个包运行正常时候，一直更改user-agent，然后不断的请求 http://httpbin.org/user-agent 然后不断的保存数据，写入本地文件就可以了。
我们还是讲一讲这个包的使用方式吧！

安装

pip install fake-useragent
1
你可以 pip list 查看一下是否安装成功

使用方式

from fake_useragent import UserAgent
headers= {'User-Agent':str(UserAgent().random)}
r = requests.get(url, headers=headers)
1
2
3
UserAgent().random 可以获取任意浏览器的请求头
UserAgent().Chrome 可以获取谷歌浏览器的请求头
UserAgent().firefox 可以获取火狐浏览器的请求头
这个时候，直接用random就可以了，简单。
读取内存数组：
这个时候就有很多人说，我就换个请求头而已，需要这么麻烦吗? 当然，自然有简单的方式，只不过每次都需要复制来用，不是很方法，具体如下：
ua = ["Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36,Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.93 Safari/537.36"
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36,Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1599.17 Safari/537.36"
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36,Mozilla/5.0 (X11; NetBSD) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.116 Safari/537.36"]
1
2
3
预先把请求头放入数组里面，然后用就可以了。

import random
ua = [.....]
r = requests.get(url, headers={"user-agent":random.choice(ua)})

标签：like,python,KHTML,Mozilla,Chrome,537.36,三种,随机,Safari
来源： https://blog.51cto.com/14938793/2535003

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

python实现三种随机请求头方式