首页 > 编程语言> 文章详细

Python爬虫项目讲解：采集地方官方网站采购商品数据

2021-07-31 15:32:24 阅读：222 来源： 互联网

标签：csv Python data 爬虫 url json result 官方网站数据

前言

今天, 带大家采集地方官方网站的商品数据，其实这些公开的商品数据就是展示给用户看的，只不过我们通过爬虫采集下来可以更加方便我们看数据, 以及方便后续对数据做分析。

一起来看看吧!

本篇文章代码内容：

分析网页性质, 找数据请求的地址
json数据的数据解析
如何保存成csv

环境介绍：

python 3.6
pycharm
requests
csv

爬虫案例实现的步骤:

找数据对应的url地址
发送指定地址的请求
数据的提取
数据保存

受害者地址：http://hljcg.hlj.gov.cn/

1. 找数据对应的url <统一资源定位符(链接地址)> 地址

原始表单数据

url = 'http://hljcg.hlj.gov.cn/proxy/trade-service/mall/search/searchByParamFromEs'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36'}

json_data = {"queryPage":{"platformId":20,"pageSize":28,"pageNum":1},"orderType":"desc","homeType":"10","isAggregation":"true","publishType":"1","orderColumn":"saleCount","cid":1000033,"businessType":"1","cids":[]}

2. 发送指定地址的请求

import requests  # 数据请求模块, 第三方模块
import pprint  # 格式化输出

response = requests.post(url=url, json=json_data, headers=headers)
json_data = response.json()  # 变量
pprint.pprint(json_data)

3. 数据的提取，json提取

取下每一条商品数据

result_list = json_data['data']['itemList']['resultList']
# print(result_list)

for result in result_list:
    print(result)

键值对取值

skuName = result['skuName']  # 商品名字
maxPrice = result['maxPrice']  # 商品价格
pictureUrl = result['pictureUrl'].replace('\n', ' | ')  # 商品图片链接
print(skuName, maxPrice, pictureUrl)

4. 数据保存

import csv   # 数据保存模块, 内置模块

with open('商品数据.csv', mode='a', encoding='utf-8', newline='') as f:
    csv_write = csv.writer(f)
    csv_write.writerow([skuName, maxPrice, pictureUrl])

最后运行代码得到结果

标签：csv,Python,data,爬虫,url,json,result,官方网站,数据
来源： https://www.cnblogs.com/qshhl/p/15084338.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9