如何使用多个患者的 CSV 文件训练模型？

Question

我有 167 名患者的 CSV 文件，他们具有相同的列数和类型，但每个 CSV 文件中的行数不同。我想训练 CNN 或 LSTM，但不合并所有 CSV。我想单独使用每个文件来训练模型，因为区分每个患者对我来说很重要，所以我不会合并所有文件。每个文件都有一个目标列，它是我需要预测的信号值。这是一个回归问题。每个文件大约有 50 列，即 50 个特征。你可以帮帮我吗？我不知道如何在 python 中执行此操作。

我合并了所有文件并用 80% 的数据训练了我的模型，但后来我意识到合并所有患者的数据是不正确的。每个患者都有独特的行为特征。

Answer 1

首先：您确定在这里选择了正确的型号吗？为每个患者训练回归模型听起来像是您想要一个线性混合效应模型（LME），而不是神经网络。一般来说，如果您在单个个体上训练神经网络，特别是如果您训练大量超参数（许多层中的许多节点），那么神经网络的优势就会消失。

如果你想观察人群，LME 非常常见。它们将允许您推断特征的总体均值，以及其在总体中的方差。它们用参数分布代替传统回归模型中的常数参数。然后，每个个体都有其参数集，遵循共同分布。 统计模型中有一个 Python 实现，记录如下：https://www.statsmodels.org/stable/mixed_linear.html

现在，关于 .csv 文件的行数：我建议您将它们导入到带有 pandas 的

dataframe

中，然后使用

dataframe.shape

获取每个文件的行数和列数。然后将行数作为程序的输入。