设置批量大小*和*神经网络的训练迭代次数?

问题描述 投票:1回答:1

我正在使用KNIME Doc2Vec Learner节点来构建Word嵌入。我知道Doc2Vec是如何工作的。在KNIME中,我可以选择设置参数

  • 批量大小:每批次使用的单词数。
  • 时代数:训练的时期数。
  • 培训迭代次数:每批次更新的次数。

从神经网络我知道(懒洋洋地从https://stats.stackexchange.com/questions/153531/what-is-batch-size-in-neural-network复制):

  • 所有训练样例的一个时期=一个前进和一个后退
  • 批量大小=一个前向/后向传递中的训练样本数。批量大小越大,您需要的内存空间就越大。
  • 迭代次数=次数,每次通过使用[批量大小]数量的示例。要清楚,一次传球=一次前进传球+一次后传传球(我们不计算前进传球和后传传球作为两次不同传球)。

据我所知,设置批量大小和迭代没有多大意义,因为一个是由另一个决定的(给定数据大小,由环境给出)。那为什么我可以改变这两个参数呢?

neural-network doc2vec knime
1个回答
0
投票

情况不一定如此。你也可以训练“半个时代”。例如,在Google的inceptionV3预训练脚本中,您通常会同时设置迭代次数和批量大小。这可能会导致“部分时代”,这可能会很好。

如果是一个好主意或不训练半个时代可能取决于您的数据。有一个thread关于这个,但不是一个结论性答案。

我不熟悉KNIME Doc2Vec,所以我不确定那里的含义是否有所不同。但是根据您给出的定义批量大小+迭代的定义似乎很好。设置时期数也可能导致冲突,但会导致数字无法合理组合。

© www.soinside.com 2019 - 2024. All rights reserved.