如何估算大型数据集的准确性?

问题描述 投票:1回答:1

鉴于我有一个深度学习模型(从前同事那里移交)。由于某些原因,缺少训练/开发集。

根据我的情况,我想将数据集分为100个类别。数据集极不平衡。数据集的大小约为几千万

首先,我运行模型并获得整个数据集的预测。

然后,我根据类别对100个记录进行了采样(根据预测),并获得了10,000个测试集。

接下来,我为测试集标记每个记录的基本事实,并计算每个类别的精度,召回率,f1,并得到F1-micro和F1-macro。

如何估算整个数据集的准确性或其他指标?我使用每个类别的精度的加权总和(权重是整体上预测的比例)进行估算是否正确?

由于预测类别的分布与真实类别的分布不同,因此我认为加权方法不起作用。有人可以解释吗?

machine-learning metrics sampling evaluation multiclass-classification
1个回答
0
投票
推荐的方法之一是使用平衡的准确性评分(有关scikit学习实施,请参见here)。基本上,它是所有召回分数的平均值:对于一个班级中的每个观察,它会检查正确分类的人数,并在所有班级中将其平均。这将为您提供合理的总体评分。
© www.soinside.com 2019 - 2024. All rights reserved.