ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

利用Pandas合并多个csv文件并去重【转】

2021-01-29 11:02:02  阅读:223  来源: 互联网

标签:files 合并 df1 df2 pd path csv Pandas


 1 import os
 2 import pandas as pd
 3 
 4 path = 'c:/1'   #设置csv所在文件夹
 5 files = os.listdir(path)  #获取文件夹下所有文件名
 6 
 7 df1 = pd.read_csv(path + '/' + files[0],encoding='gbk')  #读取首个csv文件,保存到df1中
 8 
 9 for file in files[1:]:     
10   df2 = pd.read_csv(path +'/' +  file,encoding='gbk')  #打开csv文件,注意编码问题,保存到df2中
11   df1 = pd.concat([df1,df2],axis=0,ignore_index=True)  #将df2数据与df1合并
12 
13 df1 = df1.drop_duplicates()   #去重
14 df1 = df1.reset_index(drop=True) #重新生成index
15 df1.to_csv(path + '/' + 'total.csv') #将结果保存为新的csv文件

【转自】https://www.jianshu.com/p/0ee48403983b

标签:files,合并,df1,df2,pd,path,csv,Pandas
来源: https://www.cnblogs.com/niuniu238/p/14343789.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有