ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

pandas处理大数据题目的操作

2021-09-07 15:33:31  阅读:231  来源: 互联网

标签:题目 删除 df drop keep duplicates 操作 pandas axis


1、用法:DataFrame.drop(labels=None, axis=0, index=None, columns=None, inplace=False)

2、参数说明:

labels:要删除的行/列的名字,用列表给出

axis:默认为0,即删除行,删除列时指定为1

index:直接指定要删除的行

columns:直接指定要删除的列

inplace:默认为False,即删除操作不改变元数据,而是返回一个执行删除操作后的新DataFrame,若为True,则会在元数据据上进行删除操作,删除后无法返回

3、删除行列的两种方式:

1)labels=None, axis=0/1的组合

2)index或columns直接指定要删除的行或列

 

 

1.滤除缺失数据dropna()

import pandas as pd
import numpy as np
df=pd.DataFrame({"record":[np.nan,"亚健康|潘光|45岁","疾病|张思",np.nan],"date":[np.nan,20210102,20210103,20210104]},index=["one","two","three","four"])


1)滤除含有NaN值的所有行
df.dropna()#默认axis=0


2)滤除含有NaN值的所有列
df.dropna(axis=1)


3)滤除元素都是NaN值的行
df.dropna(axis=0,how="all")

 

5)滤除指定列中含有缺失的行
df.dropna(subset=["record"],axis=0)

以上如果需要在原数据上直接做更改,需设置参数inplace=True

 

2.删除重复值 drop_duplicates()
df=pd.DataFrame({'state':[1,1,2,2,1,2,2],'pop':['a','b','c','d','b','c','d']})

语法:drop_duplicates(subset,keep,inplace),其中参数 keep:{‘first’,‘last’,False},默认’first’

first:保留第一次出现的重复项,删除第二次及之后出现的重复项。

last:保留最后一次出现的重复项,删除之前出现的重复项。

"false":删除所有重复项。

1)keep=“first”

df.drop_duplicates(keep="first")

2)keep=“last”

df.drop_duplicates(keep="last")

3)keep=False

df.drop_duplicates(keep=False)

4)删除指定列中重复项对应的行

df.drop_duplicates(subset=["state"],keep="first")

以上如果需要在原数据上直接做更改,需设置参数inplace=True

 

3.根据指定条件删除行列drop()

df=pd.DataFrame(np.arange(16).reshape(4,4),columns=["one","two","three","four"])

1).删除指定列

df.drop(["one"],axis=1)

    1. >>>df.drop(columns=['B', 'C'])

另外,也可通过del df["one"]来实现删除指定列,但该方法不推荐,因为这默认直接在源数据上做更改。

2).删除指定行

df.drop([0],axis=0)

  1. >>> df.drop(index=[0])

以上如果需要在原数据上直接做更改,需设置参数inplace=True


————————————————
版权声明:本文为CSDN博主「永远在减肥永远110的的小潘」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/p1306252/article/details/114890550

标签:题目,删除,df,drop,keep,duplicates,操作,pandas,axis
来源: https://www.cnblogs.com/keep--fighting/p/15238370.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有