如何在 Pandas 中查找数字列?

问题描述 投票:0回答:14

假设

df
是一个pandas DataFrame。 我想找到所有数字类型的列。 像这样的东西:

isNumeric = is_numeric(df)
python types pandas
14个回答
263
投票

你可以使用DataFrame的

select_dtypes
方法。它包括两个参数include 和exclude。所以 isNumeric 看起来像:

numerics = ['int16', 'int32', 'int64', 'float16', 'float32', 'float64']

newdf = df.select_dtypes(include=numerics)

163
投票

简单的一行答案来创建一个只有数字列的新数据框:

df.select_dtypes(include=np.number)

如果你想要数字列的名称:

df.select_dtypes(include=np.number).columns.tolist()

完整代码:

import pandas as pd
import numpy as np

df = pd.DataFrame({'A': range(7, 10),
                   'B': np.random.rand(3),
                   'C': ['foo','bar','baz'],
                   'D': ['who','what','when']})
df
#    A         B    C     D
# 0  7  0.704021  foo   who
# 1  8  0.264025  bar  what
# 2  9  0.230671  baz  when

df_numerics_only = df.select_dtypes(include=np.number)
df_numerics_only
#    A         B
# 0  7  0.704021
# 1  8  0.264025
# 2  9  0.230671

colnames_numerics_only = df.select_dtypes(include=np.number).columns.tolist()
colnames_numerics_only
# ['A', 'B']

93
投票

您可以使用未记录的函数

_get_numeric_data()
仅过滤数字列:

df._get_numeric_data()

例子:

In [32]: data
Out[32]:
   A  B
0  1  s
1  2  s
2  3  s
3  4  s

In [33]: data._get_numeric_data()
Out[33]:
   A
0  1
1  2
2  3
3  4

请注意,这是一个“私有方法”(即一个实现细节),将来可能会发生变化或完全删除。 谨慎使用.


70
投票
df.select_dtypes(exclude = ['object'])

更新:

df.select_dtypes(include= np.number)

或使用新版熊猫

 df.select_dtypes('number')

39
投票

简单的一行:

df.select_dtypes('number').columns

10
投票

以下代码将返回数据集的数字列的名称列表。

cnames=list(marketing_train.select_dtypes(exclude=['object']).columns)

here

marketing_train
是我的数据集,
select_dtypes()
是使用排除和包含参数选择数据类型的函数,列用于获取数据集的列名 以上代码的输出如下:

['custAge',
     'campaign',
     'pdays',
     'previous',
     'emp.var.rate',
     'cons.price.idx',
     'cons.conf.idx',
     'euribor3m',
     'nr.employed',
     'pmonths',
     'pastEmail']
    

5
投票

这是另一个用于在 pandas 数据框中查找数字列的简单代码,

numeric_clmns = df.dtypes[df.dtypes != "object"].index 

3
投票

我们可以根据以下要求包含和排除数据类型:

train.select_dtypes(include=None, exclude=None)
train.select_dtypes(include='number') #will include all the numeric types

引用自 Jupyter Notebook。

要选择所有 numeric 类型,请使用

np.number
'number'

  • 要选择字符串,您必须使用

    object
    dtype 但请注意 这将返回 all object dtype columns

  • NumPy dtype hierarchy <http://docs.scipy.org/doc/numpy/reference/arrays.scalars.html>
    __

  • 要选择日期时间,请使用

    np.datetime64
    'datetime'
    'datetime64'

  • 要选择时间增量,请使用

    np.timedelta64
    'timedelta'
    'timedelta64'

  • 要选择 Pandas 分类数据类型,请使用

    'category'

  • 要选择 Pandas datetimetz dtypes,请使用

    'datetimetz'
    (新 0.20.0) 或``'datetime64[ns, tz]'


3
投票

虽然这是老话题,

但我认为以下公式比所有其他评论都简单

df[df.describe().columns]

由于函数 describe() 仅适用于数字列,因此输出列将仅为数字。


1
投票

请看下面的代码:

if(dataset.select_dtypes(include=[np.number]).shape[1] > 0):
display(dataset.select_dtypes(include=[np.number]).describe())
if(dataset.select_dtypes(include=[np.object]).shape[1] > 0):
display(dataset.select_dtypes(include=[np.object]).describe())

通过这种方式,您可以检查值是否为数字,例如 float 和 int 或 srting 值。第二个 if 语句用于检查对象引用的字符串值。


0
投票

适应这个答案,你可以做

df.ix[:,df.applymap(np.isreal).all(axis=0)]

在这里,

np.applymap(np.isreal)
显示数据框中的每个单元格是否都是数字,
.axis(all=0)
检查列中的所有值是否为 True 并返回一系列可用于索引所需列的布尔值。


0
投票

很多发布的答案都是低效的。这些答案要么返回/选择原始数据帧的一个子集(一个不必要的副本),要么在

describe()
.

的情况下执行不必要的计算统计

要获得数字列名,可以使用带有 pd.api.types.is_numeric_dtype 函数的条件列表理解:

numeric_cols = [col for col in df if pd.api.types.is_numeric_dtype(df[col])]

不知道这个功能是什么时候推出的


0
投票

@Kathiramani Sukumar 的回答

df._get_numeric_data()
拿蛋糕。

xdf = pd.DataFrame({'Numeric':[20,10,np.nan],'String':['foo','bar','daa'],'Date':[datetime(2023,1,1,0,0,0),datetime(2023,1,2,0,0,0),np.nan]})
xdf.dtypes
Numeric           float64
String             object
Date       datetime64[ns]
dtype: object

%timeit xdf._get_numeric_data()
34.7 µs ± 870 ns per loop (mean ± std. dev. of 7 runs, 10000 loops each)

%timeit xdf.select_dtypes(include=np.number)
797 µs ± 10.2 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

numerics = ['int16', 'int32', 'int64', 'float16', 'float32', 'float64']
%timeit xdf.select_dtypes(include=numerics)
991 µs ± 24.5 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

-1
投票
def is_type(df, baseType):
    import numpy as np
    import pandas as pd
    test = [issubclass(np.dtype(d).type, baseType) for d in df.dtypes]
    return pd.DataFrame(data = test, index = df.columns, columns = ["test"])
def is_float(df):
    import numpy as np
    return is_type(df, np.float)
def is_number(df):
    import numpy as np
    return is_type(df, np.number)
def is_integer(df):
    import numpy as np
    return is_type(df, np.integer)
© www.soinside.com 2019 - 2024. All rights reserved.