Facing issue with cuda illegal memory error

Question

我正在尝试对从编码器获得的输出使用 layernorm，其尺寸为（1,497、64、64），即（batch_size、通道、高度、宽度）。我正在尝试规范化此输入，以便进一步将其提供给流模型。在应用layernorm之前，没有报错，但是在应用之后，我得到以下错误：

“RuntimeError: cuda runtime error (77) : an illegal memory access was encountered at /tmp/pip-req-build-irc6u2ci/aten/src/THC/THCReduceAll.cuh:327”

Answer 1

听起来您在将 Layernorm 应用于编码器的输出后遇到了错误。没有更多上下文，很难诊断问题。

这里有两件事你可以检查：

1. Layernorm输入应该是

   (batch_size, channels, height, width)

   。确保

   channels

   维度与数据中的特征数量相匹配。

2. LayerNorm 是神经网络中常用的一种技术，通过将输入张量重新缩放为均值为零和标准差为 1 来标准化输入张量，通常沿着张量的最后一个维度。这是通过沿该维度减去张量的平均值并将其除以其标准偏差（数据点与平均值的差异）来实现的。