基于相同输入数据的并行或共享回归网络会更好吗?为什么?

问题描述 投票:0回答:1

我将多个并行回归网络组合成一个模型,其中组合输出以创建单个损失函数。这些网络正在寻找相同数据的不同方面,并同时进行训练。这可以被认为是一个基于物理的神经网络。

本能地,我想说,分割网络允许每个网络拥有自己的权重,而不受其他方面的干扰,这将加快训练速度和/或提高性能。 ChatGPT 似乎证实了我的怀疑,但无法给我任何来源。

有人有任何论文/证明或知道这两种方法的更具体术语吗?我只是真的不知道如何提出这个问题。

machine-learning deep-learning regression
1个回答
0
投票

您所描述的架构,其中有多个神经网络在不同的特征集上运行但以某种方式链接,通常被称为“多模式”或“多视图”学习方法。这两个关键词应该让你有足够的阅读量。

通常,两种模态不仅在预测之后融合,而且在一些初始编码层之后融合。沿着这条路,您可能想阅读“传感器融合”。

举个例子,两个不同的模型使用两个不同的特征集(身高和手的大小)来预测相同的目标变量(篮球运动员有多好)。这可以被视为多模式学习的一种形式,因为您正在使用来自不同模式(身高和手的大小)的信息来进行预测。

更多的输入特征意味着更高维度的问题空间。这意味着模型需要学习更复杂的模式(收敛时间增加、需要更多数据等),但这也意味着您的模型能够学习这种更复杂的模式(可能有更好的性能和泛化能力)。话虽这么说,具体的陈述只能在特定的上下文中给出(数据可用性、任务……)

祝您阅读愉快。

© www.soinside.com 2019 - 2024. All rights reserved.