标签：__ 6.1 python 反爬 爬虫 timeout 6.0 query requests

最近因工程需要，需要爬取大量数据，期间遇到一系列问题，特此记录

问题一：ConnectionResetError: [WinError 10054] 远程主机强迫关闭了一个现有的连接

解决方案：

import requests

if __name__ =="__main__":
    try:   
        # 请求的api
        query = ("...")      
        # timeout （读取时间 连接时间）
        r = requests.get(query,timeout=(100,300)).json()
    except requests.exceptions.RequestException as e:
        print(e)
        print('失败')
        #继续接下来的操作 假如在不停记录数据的话可以记录一个None值          
 

简单来说就是用try except包围起来。

对于需要爬取批量的数据来说，这是一个很好的解决方案。只是需要注意except中写入遇到错误时的方案，然后在后续处理数据的时候再对缺失值处理即可。

问题二：urllib.error.URLError: ＜urlopen error [Errno 11001] getaddrinfo failed＞

解决方案：

#ua_list是个User-Agent的集合
ua_list = ['Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1',
            'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0',
            'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; InfoPath.3)'
        ]
headers = {'User-Agent': random.choice(ua_list)}
# timeout （读取时间 连接时间）
#query为你要爬取的api
query = ("...")  
r = requests.get(query,timeout=(200,300),headers=headers).json()

通过更换User-Agent来避免被反爬

标签：__,6.1,python,反爬,爬虫,timeout,6.0,query,requests
来源： https://blog.csdn.net/ITnanbei/article/details/121723302

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。