ValueError：分类指标无法处理多类和多标签指标目标的混合

Question

我有带有 2000 个不同标签的多类标记文本分类问题。使用 LSTM 和 Glove Embedding 进行分类。

1. 目标变量的标签编码器
2. 带有嵌入层的 LSTM 层
3. 误差指标是 F2 分数

LabelEncoded 目标变量：

le = LabelEncoder()  
le.fit(y)
train_y = le.transform(y_train)
test_y = le.transform(y_test)

带有 Glove Embeddings 的 LSTM 网络如下所示

np.random.seed(seed)
K.clear_session()
model = Sequential()
model.add(Embedding(max_features, embed_dim, input_length = X_train.shape[1],
         weights=[embedding_matrix]))#,trainable=False
model.add(LSTM(100, dropout=0.2, recurrent_dropout=0.2))
model.add(Dense(num_classes, activation='softmax'))
model.compile(optimizer='rmsprop', loss='sparse_categorical_crossentropy')
print(model.summary())

我的错误指标是 F1 分数。我为错误指标构建了以下函数

class Metrics(Callback):
    def on_train_begin(self, logs={}):
        self.val_f1s = []
        self.val_recalls = []
        self.val_precisions = []
 
    def on_epoch_end(self, epoch, logs={}):
        val_predict = (np.asarray(self.model.predict(self.validation_data[0]))).round()
        val_targ = self.validation_data[1]
        _val_f1 = f1_score(val_targ, val_predict)
        _val_recall = recall_score(val_targ, val_predict)
        _val_precision = precision_score(val_targ, val_predict)
        self.val_f1s.append(_val_f1)
        self.val_recalls.append(_val_recall)
        self.val_precisions.append(_val_precision)
        print("— val_f1: %f — val_precision: %f — val_recall %f" % (_val_f1, _val_precision, _val_recall))
        return
 
metrics = Metrics()

##模特合身度是

model.fit(X_train, train_y, validation_data=(X_test, test_y),epochs=10, batch_size=64, callbacks=[metrics])

第一个纪元后出现以下错误：

ValueError: Classification metrics can't handle a mix of multiclass and continuous-multioutput targets

我的代码哪里有错误？

Answer 1

F1 分数、召回率和精度是二元分类的指标，在多类/多标签问题中使用它时，您需要向函数添加参数

f1_score

、

recall_score

和

precision_score

。

试试这个：

_val_f1 = f1_score(val_targ, val_predict, average='weighted')
_val_recall = recall_score(val_targ, val_predict, average='weighted')
_val_precision = precision_score(val_targ, val_predict, average='weighted')

在此处查找有关平均参数的更多信息：
https://scikit-learn.org/stable/modules/ generated/sklearn.metrics.f1_score.html

Answer 2

您的问题是由这行代码中 val_predict 中存在连续值引起的

_val_f1 = f1_score(val_targ, val_predict)

在计算 f1_score 之前，您应该在 val_predict 中舍入您的预测。

解决方案示例：

 _val_f1 = f1_score(val_targ,np.round(val_predict))

要提一下：如果你想改变舍入函数的阈值（默认为0.5），你可以在[0,1]区间内添加或减去值：

>>> a = np.arange(0,1,0.1)
>>> print(a, abs(np.round(a-0.1)), sep='\n')
>>> print(a, abs(np.round(a+0.3)), sep='\n')

[0.  0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9]
array([0.  0.  0.  0.  0.  0.  1.  1.  1.  1.])

[0.  0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9]
array([0., 0., 0., 1., 1., 1., 1., 1., 1., 1.])

希望有帮助！