MLP 回归器比 Kernel Ridge 回归最差

Question

我正在研究回归问题。我有一个数据集，我在该数据集上完成了特征工程（估算缺失值、box cox 转换倾斜变量等）。

我使用 cross_val_score 和 5 个数据集分割来训练和测试多个模型。首先，我尝试了 Kernel Ridge Regression、Lasso、Elastic Net、Gradient Boosting 等模型。然后我尝试了 scikit learn 的 MLPRegressor。 然而，使用均方根误差，“简单”模型的结果比 MLP 回归器的结果要好得多（例如，Kernel Ridge 的平均得分为 0.1153，而 MLPRegressor (hidden_layer_sizes=(256,)*25）的平均得分为 0.1461，它是我发现运行不同架构的最好的）。

示例代码：

KRR = KernelRidge(alpha=0.6, kernel='polynomial', degree=2, coef0=2.5)

mlpreg = MLPRegressor(hidden_layer_sizes=(256,)*25,activation='relu',solver='adam',
                      verbose=0)

以及我用于评分的函数：

def rmsle_crossval(model, train: pd.DataFrame, y_train: List[float]):
    kf = KFold(n_folds, shuffle=True, 
               random_state=42).get_n_splits(train.values)
    rmse= np.sqrt(-cross_val_score(model, train.values, y_train, 
                  scoring="neg_mean_squared_error", cv = kf))
    return(rmse)

即使我尝试使用单个隐藏层 1 的 MLPRegressor 以及与 KRR 相同的参数以尽可能接近 KRR，我的得分仍为 0.4381。

你知道为什么会有这样的差异吗？

编辑： 数据形状：(1460, 81)

Answer 1

如果通过应用预期显示较高估计方差的方法（例如神经网络），您得到的结果不如具有较高偏差的方法（例如核岭回归），您可能会怀疑这两个原因之一:

1）你的问题不适合神经网络，它更适合其他模型，如没有免费的午餐定理所述（http://no-free-lunch.org/）

2）你在训练高方差估计器时过度拟合

考虑到您正在使用的神经网络和数据量较小（1460, 81），在您的情况下，我认为这是第二个原因。

事实上，如果你检查你的神经网络模型：

>>> mlpreg
MLPRegressor(activation='relu', alpha=0.0001, batch_size='auto', beta_1=0.9,
       beta_2=0.999, early_stopping=False, epsilon=1e-08,
       hidden_layer_sizes=(256, 256, 256, 256, 256, 256, 256, 256, 256, 256, 256
, 256, 256, 256, 256, 256, 256, 256, 256, 256, 256, 256, 256, 256, 256),
       learning_rate='constant', learning_rate_init=0.001, max_iter=200,
       momentum=0.9, nesterovs_momentum=True, power_t=0.5,
       random_state=None, shuffle=True, solver='adam', tol=0.0001,
       validation_fraction=0.1, verbose=0, warm_start=False)

您似乎使用了 25 层，每层有 256 个节点，这需要估计大量的参数，数十万个示例是不够的，而不仅仅是您可用的几个示例。

我建议您先尝试较小的网络，例如：

mlpreg = MLPRegressor(hidden_layer_sizes=(8,), activation='relu', solver='adam',
                      verbose=0)

然后尝试通过扩展第一层或添加第二层来构建更复杂的架构。