如何使用H2o Python获得最佳的分类阈值？

Question

我有一个在Python中使用H2o的分类模型，其AUC=71%。

但基于混淆矩阵的准确率只有61%。我理解混淆矩阵是基于0.5的阈值的。

我如何确定哪个阈值的准确率会是71%？

Answer 1

ROC曲线的AUC不是准确度，其值与阈值无关。它是衡量两个类的分离程度。71%的值告诉你你随机抽样的正类的预测概率比随机抽样的负类高。请看 这个 解释。

选择阈值应该取决于您的成本矩阵（假阳性或假阴性的惩罚是多少）。你会希望选择能使你的期望指标最大化的阈值（最大F1，精度，准确度）。H2O给出了 多重选择. 在H2O中，如果你调用模型性能（Python ex: your_model.model_performance())，你会得到 max accuracy 和其他优化的指标列出。