API捕获所有分页数据？ (Python)

2019-10-29 00:58:28 阅读：331 来源： 互联网

我正在使用请求包来访问API(greenhouse.io).该API是分页的,因此我需要遍历页面以获取所需的所有数据.使用类似：

results = []
for i in range(1,326+1):
    response = requests.get(url, 
                            auth=(username, password), 
                            params={'page':i,'per_page':100})
    if response.status_code == 200:
        results += response.json()

我知道通过点击headers属性有326页：

In [8]:
response.headers['link']
Out[8]:
'<https://harvest.greenhouse.io/v1/applications?page=3&per_page=100>; rel="next",<https://harvest.greenhouse.io/v1/applications?page=1&per_page=100>; rel="prev",<https://harvest.greenhouse.io/v1/applications?page=326&per_page=100>; rel="last"'

有什么方法可以自动提取此数字？使用请求包？还是我需要使用正则表达式或其他东西？

另外,我是否应该以某种方式使用while循环来获取所有这些数据？什么是最好的方法？有什么想法吗？

解决方法:

python请求库(http://docs.python-requests.org/en/latest/)在这里可以提供帮助.基本步骤将是(1)所有请求并获取标题中的链接(您将使用它来获取最后一页的信息),然后(2)遍历结果直到您到达最后一页.

import requests

results = []

response = requests.get('https://harvest.greenhouse.io/v1/applications', auth=('APIKEY',''))
raw = response.json()  

for i in raw:  
    results.append(i) 

while response.links['next'] != response.links['last']:  
    r = requests.get(r.links['next'], auth=('APIKEY', '')  
    raw = r.json()  
    for i in raw:  
        results.append(i)

标签：api,pagination,python,regex
来源： https://codeday.me/bug/20191028/1956268.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

API捕获所有分页数据？ (Python)