LabelEncoder将不同的值编码为相同的值

问题描述 投票:1回答:1

简介:Sklearn的LabelEncoder将不同的值编码为相同的值。 encoder.fit(data)data_encoded = encoder.transform(data)可以正常完成,但是当我在变换后立即执行encoder.inverse_transform(data_encoded)时,它会引发错误:

ValueError:y包含以前看不见的标签:[19297]

我想做的事:

我有一些稍大的数据(接近1.5 GB),还有更多的数据。为了实现机器学习任务,我需要对数据进行标签编码,但我无法在本地笔记本电脑上进行编码,因为编码器必须看到整个数据要正确编码,但数据处理起来有点大。

我做了什么:

因此,我将整个数据加载到Google Colab中,对其进行编码,然后使用pickle保存编码器。然后在我的本地PC中,我获取了新手数据(更小),加载编码器,更新了encoder.classes_(参见代码第1部分)

然后转换了新人数据。然后尝试对其进行逆变换,以确保它已正确完成。但它引发了一个错误。 (见第2部分)

然后我检查了值19297以查看data.loc的索引。获得索引并检查原始数据并意识到编码器将不同的值编码为相同的值(不同的值 - > 19297)。有人可以帮忙解决这个问题吗?坦克很多。

第1部分:

with open("data/encoders/item_id_encoder.pkl", 'rb') as file:
    item_encoder = pickle.load(file)
with open("data/encoders/store_id_encoder.pkl", 'rb') as file:
    store_encoder = pickle.load(file)
with open("data/encoders/week_encoder.pkl", 'rb') as file:
    week_encoder = pickle.load(file)

item_classes = set(item_encoder.classes_) 
store_classes = set(store_encoder.classes_)
week_classes = set(week_encoder.classes_)
bar.start()
for row in data.itertuples():
    if row.item_id not in item_classes:
        item_classes.add(row.item_id)
        item_encoder.classes_ = np.append(item_encoder.classes_, row.item_id)
    if row.store_id not in store_classes:
        store_classes.add(row.store_id)
        store_encoder.classes_ = np.append(store_encoder.classes_, row.store_id)
    if row.week not in week_classes:
        week_classes.add(row.week)
        week_encoder.classes_ = np.append(week_encoder.classes_, row.week)
    bar.update(row.Index)
bar.finish()

第2部分:

store_ids = store_encoder.transform(data.store_id)
item_ids = item_encoder.transform(data.item_id)
weeks = week_encoder.transform(data.week)

# this raises error
item_encoder.inverse_transform(item_ids)
python pandas scikit-learn
1个回答
0
投票

好吧,我已经实现了具有更新功能的标签编码器。您可以:

  • 安装数据编码器以启动编码器。编码器将保存为pickle文件。
  • 使用新手数据更新编码器
  • 对数据进行变换和逆变换

见:https://github.com/emremrah/Lencoder

© www.soinside.com 2019 - 2024. All rights reserved.