手动计算SVM的决策函数

Question

我试图使用python库SKLearn手动计算一个SVC分类器的decision_function（而不是使用内置的方法）。

我已经尝试了几种方法，但是，我只能在以下情况下才能得到与手动计算相匹配的结果。不要 缩放我的数据。

z 是一个测试数据（已经被缩放了），我想其他变量本身就说明了问题（另外，如果从代码中看不出来的话，我使用的是rbf内核）。

下面是我试过的方法。

1 循环法

dec_func = 0
for j in range(np.shape(sup_vecs)[0]):

    norm2 = np.linalg.norm(sup_vecs[j, :] - z)**2 
    dec_func = dec_func + dual_coefs[0, j] * np.exp(-gamma*norm2)

dec_func += intercept

2 矢量化方法

diff = sup_vecs - z
norm2 = np.sum(np.sqrt(diff*diff), 1)**2
dec_func = dual_coefs.dot(np.exp(-gamma_params*norm2)) + intercept

然而，这两种方法都没有返回与之相同的值。decision_function. 我想这可能与重新调整我的数值有关，或者更有可能是我忽略了一些愚蠢的东西!

任何帮助将是感激的.我试图计算SVC分类器MANUALL的决策函数.

Answer 1

所以，经过一番挖空心思、绞尽脑汁，我想明白了。

正如我上面提到的 z 是一个已被缩放的测试数据。要缩放它，我必须提取 .mean_ 和 .std_ 属性（当然是在我的训练数据上调用.fit()之后）。

然后，我使用这个缩放的 z 作为我手动计算和内置函数的输入。然而，内置函数是一个管道的一部分，该管道已经将StandardScaler作为管道中的第一个 "管道"，结果是 z 被缩放了两次！因此，当我从管道中删除缩放时，手动答案与内置函数的答案 "匹配"。

顺便说一下，我用引号说 "匹配"，因为我发现我总是不得不翻转手动计算的符号来匹配内置版本。目前我不知道为什么会出现这种情况。

总之，我误解了管道的工作原理。

对于那些有兴趣的人，这是我手动方法的最终版本。

diff = sup_vecs - z_scaled
# Looping Method
dec_func_loop = 0
for j in range(np.shape(sup_vecs)[0]):
    norm2 = np.linalg.norm(diff[j,:]) 
    dec_func_loop = dec_func_loop + dual_coefs[j] * np.exp(-gamma*(norm2**2))

dec_func_loop = -1 * (dec_func_loop - intercept)

# Vectorized method
norm2 = np.array([np.linalg.norm(diff[n, :]) for n in range(np.shape(sup_vecs)[0])])
dec_func_vec = -1 * (dual_coefs.dot(np.exp(-gamma*(norm2**2))) - intercept)

附录

对于那些有兴趣实现多类SVC的手动方法的人来说，下面的链接很有帮助。https:/stackoverflow.coma277527091182556。