标签：11 __ 05 url 数据 json job 2021 data

爬取阿里招聘网
在职位搜索中输入 python，获取前3页的 数据，包括 职位名称、职位类别、工作地点、招聘人数，把数据存入字典格式，保存在文本中
经分析,这些数据在json数据里面,获取世纪要爬取的url

网页的请求数据:

import json
import requests


def job_data(page):
    # 数据在ajax里面,实际爬取的网页
    url = 'https://job.alibaba.com/zhaopin/socialPositionList/doList.json'
    # 添加请求头
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.128 Safari/537.36'
    }
    # 添加请求数据
    data = {
        'pageSize': '10',
        't': '0.15070338056269827',
        'keyWord': 'python',
        'pageIndex': f'{page}'
    }
    # 向服务端发送请求
    res = requests.post(url=url, headers=headers, data=data)
    # 获取包含所需的json数据
    result = res.json()

    data = {}
    for job in result['returnValue']['datas']:
        data['name'] = job['name']  # 职位名称
        data['types'] = job['firstCategory']  # 职位类型
        data['address'] = job['workLocation']  # 工作地点
        data['num'] = job['recruitNumber']  # 招聘人数
        # 自动创建data.json文件
        with open('data.json', 'a', encoding='utf-8') as fp:
            # 写入json数据
            fp.write(json.dumps(data,ensure_ascii=False)+'\n')

if __name__ == '__main__':
    for i in range(1, 4):
        job_data(i)

标签：11,__,05,url,数据,json,job,2021,data
来源： https://blog.csdn.net/m0_47034583/article/details/116668771

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。