标签：csv PYTHON newline 换行 file active logger CSV line

pandas这个库很好用、很大、很厉害，但是有问题：大。

基本上，用的上pandas，程序大小动辄300M。然后这个程序基本上也就告别秒开了。

今天做一个小功能，需要从数据库导出到CSV文件，想了想，不用pandas了。

第一个问题：数量不算小，一次读入内存太大。一行一行粒度又太小（大概100W行）
然后，整理了一下基本的业务逻辑：

先生成一个空CSV文件，然后生成标题。
然后，查出大概20000行，就写入到文件中。
最后，当无法从数据库中读取任何行数的时候，直接保存。

然后网查，发现所有的行后面都多一个空行。
网上这个就很多了：网查需要设置一个参数：newline=’’。windows似乎会自动补齐一行。

脚本是：（or_cursor是游标）

active_file = 'XXXXXX'
# 这是标题
with open(active_file, 'w+', encoding='gbk',newline='') as f:
    f_csv = csv.writer(f)
    f_csv.writerows([['城市', '县市', '网元名', 'alarm_node', 'title', '故障发生时间', '告警清除时间']])
    
for i in range(10000):
    active_line = or_cursor.fetchmany(2000)
    if active_line:
        logger.debug('正在获取信息！')
        # logger.debug(active_line)
        time.sleep(2)
        with open(active_file, 'a+', encoding='gbk', newline='', errors='replace') as f:
            f_csv = csv.writer(f)
            f_csv.writerows(active_line)
    else:
        logger.info('获取全部信息！')
        logger.info('生成文件：{}'.format(active_file))
        break

生成的脚本大概7M左右，比较满意。

标签：csv,PYTHON,newline,换行,file,active,logger,CSV,line
来源： https://blog.csdn.net/weixin_45642669/article/details/118307009

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。