标签：__ cursor writer 腾讯网 实时 爬取 json csv data

1. 数据格式

2. 主函数代码
   

3. 爬取数据结果
   

4. 完整代码

import csv, requests  # 导入请求模块
import pymysql


def save_html(a):
    db = pymysql.connect('localhost', 'root', 'root', 'spider', charset='utf8')
    cursor = db.cursor()
    ins = 'insert into coronavirus values(%s, %s,%s, %s, %s, %s, %s)'
    cursor.execute(ins, a)
    db.commit()
    cursor.close()


class A(object):
    def __init__(self):  # 定义获取数据并写入csv文件里的函数
        url = "https://api.inews.qq.com/newsqa/v1/automation/foreign/country/ranklist"  # 请求网址
        response = requests.get(url).json()  # 发出请求并json化处理
        data = response['data']  # 提取数据部分

        for i in range(16):
            print(data[i])
            print(data[i]['name'], data[i]['confirm'], data[i]['confirmAdd'])

        with open("CoronavirusData.csv", "w+", newline="") as json_file:
            writer = csv.writer(json_file)
            header = ["date", "state", "continent", "confirm", "confirmAdd", "suspect", "dead", "heal"]  # 定义表头
            writer.writerow(header)
            for i in range(len(data)):
                data_row1 = [data[i]["date"], data[i]["name"], data[i]["continent"], data[i]["confirm"],
                             data[i]["confirmAdd"],
                             data[i]["suspect"], data[i]["dead"], data[i]["heal"]]
                writer.writerow(data_row1)
                save_html(data_row1)


if __name__ == "__main__":
    spider = A()
    spider.__init__()
在这里插入代码片

标签：__,cursor,writer,腾讯网,实时,爬取,json,csv,data
来源： https://blog.csdn.net/qq_46659912/article/details/116694597

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。