ROC曲线的形状

问题描述 投票:0回答:1

我对数据集进行了预测分析并绘制了ROC曲线。

ROC曲线如下所示,enter image description here

我不太确定曲线的形状。它不需要是波浪曲线。但是,看看治疗方法,我们可以决定,这是一个问题。我的准确率达到了71%,这对我来说没问题。但我担心曲线的形状,这不是波浪形的。例如,下面看起来不像。 (摘自互联网。)

enter image description here

machine-learning roc
1个回答
3
投票

看起来你只画了三个点。 ROC曲线的概念是显示当您调整决策阈值以便在每个点建立性能时FP / TP比率如何变化。如果没有关于如何绘制这个或你有什么参数的信息,很难说更多。

一个典型的例子是调整攻击性级别 - 如果你有一个垃圾邮件扫描程序,它将在特定分数中归类为垃圾邮件,那么更改分数阈值会如何改变TP / FP速率?因此,X轴也会有效地显示阈值设置(但可能会以某种方式拉伸),每个点的曲线将显示清洁集合中有多少样本将是该阈值处的FP,以及您的垃圾邮件集合中有多少样本将被正确阻止。

(“拉伸”表示阈值设置可能不会线性映射到FP速率。如果阈值0.950和0.975之间没有任何反应,则根本不在x轴上绘制该间隔.x轴上的点是阈值TP / FP速率变化的值;某些值在阈值方面可能彼此非常接近,而其他相邻点可能对应于阈值的大跳跃。)

良好的ROC曲线下面有很大的区域。理想的ROC从0到1.00并保持不变,但是您无需帮助您决定如何部署解决方案。但实际上,它们会有各种各样的形状,从模糊渐近到左上角(非常好)到直线对角线(非常糟糕),甚至渐近向右下方(非常差;随机判断会更好)。有趣的点是“膝盖”,其中TP率的增长放缓,FP率开始快速增长(这是你应该停止增加门槛的地方)和任何违规行为,尤其是任何打破单调的行为。

(在你的网络示例中,TP 0.6周围有一个点,增加阈值只会增加FP。为什么会这样?样本中是否存在偏差,或者实现中存在问题?是否可以修复?)

© www.soinside.com 2019 - 2024. All rights reserved.