左侧CSV文件有五列.application
列有几个用;
分隔的应用程序类型。根据app
,device
和district
类型,我想预测target
。但我想先将文件转换为右侧数据框以应用机器学习。
我怎么能用python做到这一点?
您需要为application
列应用多热编码,为其他列应用一个热编码。
这是我的解决方案!
>>> import pandas as pd
>>> import numpy as np
>>> df = pd.DataFrame({'number': np.random.randint(0,10,size=5),
'device': np.random.choice(['a','b'],size=5),
'application': ['app2;app3','app1','app2;app4', 'app1;app2', 'app1'],
'district': np.random.choice(['aa', 'bb', 'cc'],size=5)})
>>> df
application device district number
0 app2;app3 b aa 3
1 app1 a cc 7
2 app2;app4 a aa 3
3 app1;app2 b bb 9
4 app1 a cc 4
from sklearn.preprocessing import OneHotEncoder, MultiLabelBinarizer
lb = MultiLabelBinarizer()
# Assuming appl names are separated by ;
mhv = mlb.fit_transform(df['application'].apply(lambda x: set(x.split(';'))))
df_out = pd.DataFrame(mhv,columns=mlb.classes_)
enc = OneHotEncoder(sparse=False)
ohe_vars = ['device','district'] # specify the list of columns here
ohv = enc.fit_transform(df.loc[:,ohe_vars])
ohe_col_names = ['%s_%s'%(var,cat) for var,cats in zip(ohe_vars, enc.categories_) for cat in cats]
df_out.assign(**dict(zip(ohe_col_names,ohv.T)))
df_out
您可以先按照原来的方式读取csv,然后进行所有编辑。首先......
df = pd.read_csv("data.csv")
然后获取应用程序列中的数据并将其放入列表中。然后取出列表并将其加入一个字符串并将其拆分为“;” deliminator。
col = list(df.application)
col_join = ";".join(col)
col_split = col_join.split(";")
拥有该列表后,您可以循环并删除重复项...
i=0
while i < len(col_split):
j=i+1
while j < len(col_split):
if col_split[i] == col_split[j]:
del(col_split[j])
else:
j += 1
i += 1
现在,您有一个列表,列出了可以读入数据框以用作列的所有唯一应用程序条目。