查找决策树中决策边界的距离

Question

我想找到样本到scikit-learn中经过训练的决策树分类器的决策边界的距离。特征都是数字的，特征空间可以是任何大小。

到目前为止，对于基于here的示例2D案例，我具有这种可视化效果：

import numpy as np
import matplotlib.pyplot as plt

from sklearn.tree import DecisionTreeClassifier
from sklearn.datasets import make_moons

# Generate some example data
X, y = make_moons(noise=0.3, random_state=0)

# Train the classifier
clf = DecisionTreeClassifier(max_depth=2)

clf.fit(X, y)

# Plot
x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1
y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1
xx, yy = np.meshgrid(np.arange(x_min, x_max, 0.1), np.arange(y_min, y_max, 0.1))

Z = clf.predict(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)

plt.contourf(xx, yy, Z, alpha=0.4)
plt.scatter(X[:, 0], X[:, 1], c=y, s=20, edgecolor='k')

我了解，对于其他一些分类器（例如SVM），此距离可以通过数学计算得出。不确定是否也可以使用决策树，但是近似值也足够了。 [1，2]

Answer 1

决策树不学习绘制决策边界。它尝试根据最大信息增益点分割树。对于此过程，决策树算法使用entropy或gini索引。

由于这个原因，您无法找到点与决策边界之间的距离（没有决策边界）。>>

如果需要，您可以计算点与在图形上绘制的线之间的距离。因此大约可以得出一些结果。