我的算法速度有问题,太慢了。我有一个大的数据框架,想根据其他数据框架的名称和值来创建列。我正在寻找一个解决方案,也许在Pandas中。在运行之前,我不知道未来的列的大小。这里是一个简单的模式。
"column"<==>"value"<br>"column"<==> "value"<br>...
我的数据框架
id | params |
---|-----------------
0 |currency<=>PLN<br>price<=>72.14<br>city<==>Berlin
---|-----------------
1 |price<=>90<br>area<=>72.14<br>city<==>San Francisco<br>rooms<==>2<br>is_Free<==>1
---|-----------------
我想拥有这样的东西
id | price | currency | city | rooms | is_Free| area|
---|------ |----------|--------------|-------|--------|------
0| 72.14 | PLN | Berlin | NaN | NaN | NaN|
---|-------|----------|--------------|-------|--------|------
1| 90 | NaN | San Francisco| 2 | 1 | 90 |
我的解决方案。
def add_parameters(df):
for i,row in df.iterrows():
parameters_list = row.params.split("<br>")
for parameter in parameters_list:
elem_list = parameter.split("<=>")
if elem_list[0] and elem_list[1] != '':
df.loc[i, elem_list[0]] = elem_list[1]
return df
谢谢你
这是一个方法来解决这个问题。
import re
# handle multiple seperator.
sep = re.compile(r"(<.*>)")
def split(value):
ret = {}
for s in value.split("<br>"):
# search if seperator exists in the string & split based on sep.
if sep.search(s):
split_ = s.split(sep.search(s).group())
ret[split_[0]] = split_[1]
return ret
print(df['params'].apply(lambda x : split(x)).apply(pd.Series))
輸出
currency price city area rooms is_Free
0 PLN 72.14 Berlin NaN NaN NaN
1 NaN 90 San Francisco 72.14 2 1
如果你想用list comp在一行中完成(但我不确定它是否可读)。
pattern = re.compile(r"<=*>")
df = df['params'].apply(lambda row: dict([pattern.split(kv) for kv in row.split("<br>")])).apply(pd.Series)