标签：subset Python drop keep 重复 duplicates csv first
通常会分为两种情况，一种是去除完全重复的行数据，另一种是去除某几列重复的行数据，就这两种情况可用下面的代码进行处理。
1. 去除完全重复的行数据
- data.drop_duplicates(inplace=True)
2. 去除某几列重复的行数据
- data.drop_duplicates(subset=['A','B'],keep='first',inplace=True)
subset： 列名，可选，默认为None
keep： {‘first’, ‘last’, False}, 默认值 ‘first’
- first： 保留第一次出现的重复行，删除后面的重复行。
- last： 删除重复项，除了最后一次出现。
- False： 删除所有重复项。
inplace：布尔值，默认为False，是否直接在原数据上删除重复项或删除重复项后返回副本。
（ inplace=True表示直接在原来的DataFrame上删除重复项，而默认值False表示生成一个副本。）
DataFrame.drop_duplicates(subset = None, keep = 'first')
DataFrame.drop_duplicates()中的参数完全实现。
其中subset这个参数默认‘None’是指选择所有列，即所有列的值都相同我才认为这两行是重复的，
也可以自定义为其中一部分列变量名，比如subset=['name','sex','age']。
keep参数中'first'和‘last’会根据index的前后产生不同的效果。参数False会去除所有重复行。
举个栗子：
name sex age
0 coco female 7
1 lily female 7
2 joe male 15
3 coco female 7
DataFrame.drop_duplicates(subset = None, keep = 'first')，产生的结果如下：
name sex age
0 coco female 7
1 lily female 7
2 joe male 15
若使用代码DataFrame.drop_duplicates(subset = None, keep = 'last')，结果如下：
name sex age
1 lily female 7
2 joe male 15
3 coco female 7
发现不考虑index以及行的顺序，效果与参数first相同。
若使用代码DataFrame.drop_duplicates(subset = None, keep = False), 则把相同的行全部删除，结果如下：
name sex age
1 lily female 7
2 joe male 15
所有重复的行都被删除，没有保留。
若使用代码DataFrame.drop_duplicates(subset = ['sex' , 'age'] , keep = False), 结果如下：
name sex age
2 joe male 15
标签：subset,Python,drop,keep,重复,duplicates,csv,first 来源： https://www.cnblogs.com/tonyxiao/p/14397664.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。