爬虫小插曲：关于代理参数-proxies那些事

2020-12-22 19:01:32 阅读：743 来源： 互联网

标签：http 插曲 IP self 代理爬虫 proxy proxies

代理参数-proxies

定义及分类

	【1】定义 : 代替你原来的IP地址去对接网络的IP地址
	
	【2】作用 : 隐藏自身真实IP,避免被封

普通代理

	【1】获取代理IP网站
	   快代理、全网代理、代理精灵、... ...
	
	【2】参数类型
	   proxies = { '协议':'协议://IP:端口号' }
	   proxies = {
	    	'http':'http://IP:端口号',
	    	'https':'https://IP:端口号',
	   }

普通代理 - 示例
使用快代理中的免费IP地址测试是否可用：

	# 使用免费普通代理IP访问测试网站: http://httpbin.org/get
	import requests
	
	url = 'http://httpbin.org/get'
	headers = {'User-Agent':'Mozilla/5.0'}
	# 定义代理,在代理IP网站中查找免费代理IP
	proxies = {
	   'http':'http://182.116.239.37:9999',
	   'https':'https://182.116.239.37:9999'
	}
	html = requests.get(url,proxies=proxies,headers=headers,timeout=5).text
	print(html)

在这里插入图片描述
如果我们运行这个代码的话，肯定是会报错的，因为并不是所有的IP地址都是有效的，所以会报错

代理IP池建立
我们使用的是快代理这个网站的IP地址，我们去花钱购买IP地址，然后在去运行测试代码，但是，我就不在这买了，如果有需要的自己去网上看一下快代理IP地址购买及使用，我这里就是测试你购买的IP地址是否可用

"""
建立开放代理的代理ip池
"""
import requests

class ProxyPool:
    def __init__(self):
    	# api_url地址，注意，这个是购买快代理IP地址之后的地址，这个填自己的
        self.api_url = 'http://dev.kdlapi.com/api/getproxy/?orderid=999955248138592&num=20&protocol=2&method=2&an_ha=1&sep=1'
        # 测试IP地址可否用的网站
        self.test_url = 'http://httpbin.org/get'
        # 请求头
        self.headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.83 Safari/537.36'}

    def get_proxy(self):
    	# 响应体
        html = requests.get(url=self.api_url, headers=self.headers).text
        # proxy_list: ['1.1.1.1:8888','2.2.2.2:9999,...]
        proxy_list = html.split('\r\n')
        for proxy in proxy_list:
            # 测试proxy是否可用
            self.test_proxy(proxy)

    def test_proxy(self, proxy):
        """测试1个代理ip是否可用"""
        proxies = {
            'http' : 'http://{}'.format(proxy),
            'https': 'https://{}'.format(proxy),
        }
        # 我们用try方法，测试IP地址，如果测试出不可用的话，他不会报错，不会导致下一个能用的也测试不了
        try:
            resp = requests.get(url=self.test_url, proxies=proxies, headers=self.headers, timeout=3)
            if resp.status_code == 200:
            	# \033 这个就是给字体价格颜色
                print(proxy,'\033[31m可用\033[0m')
            else:
                print(proxy,'不可用')
        except Exception as e:
            print(proxy, '不可用')

    def run(self):
        self.get_proxy()

if __name__ == '__main__':
    spider = ProxyPool()
    spider.run()

私密代理+独享代理

【1】语法结构
   proxies = { '协议':'协议://用户名:密码@IP:端口号' }

【2】示例
   proxies = {
	  'http':'http://用户名:密码@IP:端口号',
      'https':'https://用户名:密码@IP:端口号',
   }

私密代理+独享代理 - 示例代码

	import requests
	url = 'http://httpbin.org/get'
	proxies = {
	    'http': 'http://309435365:szayclhp@106.75.71.140:16816',
	    'https':'https://309435365:szayclhp@106.75.71.140:16816',
	}
	headers = {
	    'User-Agent' : 'Mozilla/5.0',
	}
	
	html = requests.get(url,proxies=proxies,headers=headers,timeout=5).text
	print(html)

标签：http,插曲,IP,self,代理,爬虫,proxy,proxies
来源： https://blog.csdn.net/Yxh666/article/details/111504184

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

爬虫小插曲：关于代理参数-proxies那些事

代理参数-proxies