我正在研究一个监督式ML分类用例，我有5个特征和一个目标变量。假设这5个特征是A、B、C、D、E、F，目标变量是G，E特征不是一个原始特征，也就是说它是由其他一些特征预测出来的。我试着用这个特征来建立模型，分类指标还不错。但是现在我的老板说，我们不能使用特征E，因为它不是直接可用的，我们需要先预测，然后用它来预测目标G。
下面是我试过的一些东西。
我试着从特征列表中去掉特征E来建立模型，指标下降，意味着特征E很重要。
老板说特征E是由特征A、B、C、D、F派生或依赖的，所以我们可以用它来预测特征E，然后用特征A、B、C、D、E、F来预测G。
我担心的是这里。
如果特征E依赖于特征A, B, C, D和F 那么在建立模型时不使用特征E对我的指标影响不大。
如果我使用特征A、B、C、D和F来预测特征E，并且确实使用特征A、B、C、D、E、F来预测G，那么我在建立模型时岂不是使用了相关的特征，因为E是使用A、B、C、D和F来预测的，使用F不会给我的特征集增加任何额外的信息。
我的理解是，如果通过从特征列表中删除特征E来建立模型，就会降低我的指标，那么这意味着特征E来自其他地方，即特征A，B，C，D，F之外。
我不是一个有经验的ML人，这些是我对这个问题的想法。
请告诉我，我的思路是否正确？
- 如果特征E依赖于特征A，B，C，D，F，那么在建立模型的时候不使用特征E，应该不会对我的指标有太大影响。
这真的取决于你使用的模型，但一个简单的例子，我们想象一下，你使用的是一个线性回归模型，你想预测的值是y=x2
你无法找到一个简单的线性回归器（A*x+B）的拟合模型。然而，你可以创建一个新的特征x'=x²，现在你可以拟合y A*x'+b 。所以一个依赖于其他特征组合的特征有时可以帮助你的模型。
- 如果我使用特征A、B、C、D和F来预测特征E，并且确实使用特征A、B、C、D、E、F来预测G，我是不是会使用相关特征来建立模型，因为E是使用A、B、C、D和F来预测的，使用F不会给我的特征集增加任何额外的信息。
这个问题比较棘手，因为这一切真的取决于你用来预测E的模型，以及你用来预测y的模型.如果你对两者都使用简单的线性回归器，那么是的，E将是其他变量的线性组合，不会帮助预测y。
但是你可以想象使用非线性模型来预测E，比如RandomForest，这可能会帮助你的最终模型。
底线是：尝试的成本并不高，只是要注意对两个模型使用相同的traintest，以避免任何泄漏。