假设
df
是一个pandas DataFrame。
我想找到所有数字类型的列。
像这样的东西:
isNumeric = is_numeric(df)
你可以使用DataFrame的
select_dtypes
方法。它包括两个参数include 和exclude。所以 isNumeric 看起来像:
numerics = ['int16', 'int32', 'int64', 'float16', 'float32', 'float64']
newdf = df.select_dtypes(include=numerics)
简单的一行答案来创建一个只有数字列的新数据框:
df.select_dtypes(include=np.number)
如果你想要数字列的名称:
df.select_dtypes(include=np.number).columns.tolist()
完整代码:
import pandas as pd
import numpy as np
df = pd.DataFrame({'A': range(7, 10),
'B': np.random.rand(3),
'C': ['foo','bar','baz'],
'D': ['who','what','when']})
df
# A B C D
# 0 7 0.704021 foo who
# 1 8 0.264025 bar what
# 2 9 0.230671 baz when
df_numerics_only = df.select_dtypes(include=np.number)
df_numerics_only
# A B
# 0 7 0.704021
# 1 8 0.264025
# 2 9 0.230671
colnames_numerics_only = df.select_dtypes(include=np.number).columns.tolist()
colnames_numerics_only
# ['A', 'B']
您可以使用未记录的函数
_get_numeric_data()
仅过滤数字列:
df._get_numeric_data()
例子:
In [32]: data
Out[32]:
A B
0 1 s
1 2 s
2 3 s
3 4 s
In [33]: data._get_numeric_data()
Out[33]:
A
0 1
1 2
2 3
3 4
请注意,这是一个“私有方法”(即一个实现细节),将来可能会发生变化或完全删除。 谨慎使用.
df.select_dtypes(exclude = ['object'])
更新:
df.select_dtypes(include= np.number)
或使用新版熊猫
df.select_dtypes('number')
简单的一行:
df.select_dtypes('number').columns
以下代码将返回数据集的数字列的名称列表。
cnames=list(marketing_train.select_dtypes(exclude=['object']).columns)
here
marketing_train
是我的数据集,select_dtypes()
是使用排除和包含参数选择数据类型的函数,列用于获取数据集的列名
以上代码的输出如下:
['custAge',
'campaign',
'pdays',
'previous',
'emp.var.rate',
'cons.price.idx',
'cons.conf.idx',
'euribor3m',
'nr.employed',
'pmonths',
'pastEmail']
这是另一个用于在 pandas 数据框中查找数字列的简单代码,
numeric_clmns = df.dtypes[df.dtypes != "object"].index
我们可以根据以下要求包含和排除数据类型:
train.select_dtypes(include=None, exclude=None)
train.select_dtypes(include='number') #will include all the numeric types
引用自 Jupyter Notebook。
要选择所有 numeric 类型,请使用
np.number
或 'number'
要选择字符串,您必须使用
object
dtype 但请注意
这将返回 all object dtype columns见
NumPy dtype hierarchy <http://docs.scipy.org/doc/numpy/reference/arrays.scalars.html>
__要选择日期时间,请使用
np.datetime64
、'datetime'
或
'datetime64'
要选择时间增量,请使用
np.timedelta64
、'timedelta'
或
'timedelta64'
要选择 Pandas 分类数据类型,请使用
'category'
要选择 Pandas datetimetz dtypes,请使用
'datetimetz'
(新
0.20.0) 或``'datetime64[ns, tz]'虽然这是老话题,
但我认为以下公式比所有其他评论都简单
df[df.describe().columns]
由于函数 describe() 仅适用于数字列,因此输出列将仅为数字。
请看下面的代码:
if(dataset.select_dtypes(include=[np.number]).shape[1] > 0):
display(dataset.select_dtypes(include=[np.number]).describe())
if(dataset.select_dtypes(include=[np.object]).shape[1] > 0):
display(dataset.select_dtypes(include=[np.object]).describe())
通过这种方式,您可以检查值是否为数字,例如 float 和 int 或 srting 值。第二个 if 语句用于检查对象引用的字符串值。
适应这个答案,你可以做
df.ix[:,df.applymap(np.isreal).all(axis=0)]
在这里,
np.applymap(np.isreal)
显示数据框中的每个单元格是否都是数字,.axis(all=0)
检查列中的所有值是否为 True 并返回一系列可用于索引所需列的布尔值。
很多发布的答案都是低效的。这些答案要么返回/选择原始数据帧的一个子集(一个不必要的副本),要么在
describe()
. 的情况下执行不必要的计算统计
要获得数字列名,可以使用带有 pd.api.types.is_numeric_dtype 函数的条件列表理解:
numeric_cols = [col for col in df if pd.api.types.is_numeric_dtype(df[col])]
不知道这个功能是什么时候推出的
@Kathiramani Sukumar 的回答
df._get_numeric_data()
拿蛋糕。
xdf = pd.DataFrame({'Numeric':[20,10,np.nan],'String':['foo','bar','daa'],'Date':[datetime(2023,1,1,0,0,0),datetime(2023,1,2,0,0,0),np.nan]})
xdf.dtypes
Numeric float64
String object
Date datetime64[ns]
dtype: object
%timeit xdf._get_numeric_data()
34.7 µs ± 870 ns per loop (mean ± std. dev. of 7 runs, 10000 loops each)
%timeit xdf.select_dtypes(include=np.number)
797 µs ± 10.2 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
numerics = ['int16', 'int32', 'int64', 'float16', 'float32', 'float64']
%timeit xdf.select_dtypes(include=numerics)
991 µs ± 24.5 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
def is_type(df, baseType):
import numpy as np
import pandas as pd
test = [issubclass(np.dtype(d).type, baseType) for d in df.dtypes]
return pd.DataFrame(data = test, index = df.columns, columns = ["test"])
def is_float(df):
import numpy as np
return is_type(df, np.float)
def is_number(df):
import numpy as np
return is_type(df, np.number)
def is_integer(df):
import numpy as np
return is_type(df, np.integer)