如何在 keras 中构建排列不变性神经网络？

Question

我的问题是关于用更少的数据解决我的问题所需的网络结构。

我有一个传感器设备，它可以简单地报告它前面看到的物体的颜色。一个传感器向我报告 4 个数字：红色、绿色、蓝色和 Alpha。 颜色变化的强度取决于距离和所看到的物体。 我在一个小立方体的每一侧都安装了 6 个这样的传感器。可以用手移动和旋转立方体。

我想实时预测立方体在空间中的位置。

我的问题：

输入：6 个相同的传感器，每个传感器给出 4 个数字。总计=6*4=24 个数字。

输出：3个数字，X，Y，Z，（立方体的位置）

我已准备好带有标签 XYZ 的数据。

现在，训练一个简单的多层感知器，它需要 24 个数字并输出 3 个数字。 这工作得很好，但它需要立方米空间中的大量数据才能准确预测。

问题在于旋转。我需要旋转并覆盖每个位置 360 度，以便它能够很好地预测。

但我知道每个传感器都是相同的，所以我想分享每个传感器的重量。我知道当你将立方体旋转90度时，它根本不应该影响输出位置。所以这应该意味着传感器的顺序并不重要。这意味着我应该以某种方式使用

add

或

average

来合并我的传感器层。如果我使用

concatenate

它将保留使输出位置发生变化的顺序。

我这样做的方式是将 4 个数字输入到所有传感器共享的 传感器模型中，获取编码，将它们相加，然后将其连接到密集层。以下是模型原型：

from keras.layers import Input, Dense
from keras.models import Model, Sequential

sensor1 = Input(shape=(4,))
sensor2 = Input(shape=(4,))
sensor3 = Input(shape=(4,))
sensor4 = Input(shape=(4,))
sensor5 = Input(shape=(4,))
sensor6 = Input(shape=(4,))
sensor_model = Sequential([
    Dense(64, activation='relu'),
    Dense(64, activation='relu'),
])
sensor1_encoding = sensor_model(sensor1)
sensor2_encoding = sensor_model(sensor2)
sensor3_encoding = sensor_model(sensor3)
sensor4_encoding = sensor_model(sensor4)
sensor5_encoding = sensor_model(sensor5)
sensor6_encoding = sensor_model(sensor6)
sensor_encoding = average([
    sensor1_encoding,
    sensor2_encoding,
    sensor3_encoding,
    sensor4_encoding,
    sensor5_encoding,
    sensor6_encoding,
])
h = sensor_encoding
h = Dense(128, activation='relu')(h)
h = Dense(128, activation='relu')(h)
h = Dense(3, activation='linear')
model = Model(inputs=[sensor1, sensor2, sensor3, sensor4, sensor5, sensor6], outputs=[h])

现在，当我将

average

函数更改为

concatenate

时，训练集和验证集上的模型损失都较低，这与我的直觉相矛盾。我的想法有什么问题吗？ 你怎么认为？如果我旋转 90 度，同时又不遭受 45 度旋转，我该如何调整这个模型，以便它预测相同的位置。并且以不会消除输入之间有用关系的方式进行设置。

Answer 1

我已经找到解决办法了。我已经为它编写了代码，有兴趣的请查看： https://github.com/offchan42/keras_helpers/blob/master/permutational_layer.py