在边界框中为回归的平均交集创建自定义损失函数

Question

我试图逐个迭代批处理以计算联合的平均交集。但适合功能显示这一点

错误：对于渐变，操作具有None。请确保您的所有操作都定义了渐变（即可区分）。没有渐变的常见操作：K.argmax，K.round，K.eval。

帮助我，因为我是keras的新手

#y_true shape: (None, 4)
import keras.backend as K
def iou(y_true, y_pred):
    # determine the (x, y)-coordinates of the intersection rectangle
    iou = 0
    for i in range(K.int_shape(y_pred)[0]):
        boxA = y_pred[i]
        boxB = y_true[i]
        xA = K.max(boxA[0], boxB[0])
        yA = K.max(boxA[2], boxB[2])
        xB = K.min(boxA[1], boxB[1])
        yB = K.min(boxA[3], boxB[3])

        interArea = K.max(0, xB - xA + 1) * K.max(0, yB - yA + 1)

        boxAArea = (boxA[1] - boxA[0] + 1) * (boxA[3] - boxA[2] + 1)
        boxBArea = (boxB[1] - boxB[0] + 1) * (boxB[3] - boxB[2] + 1)

        iou += interArea / float(boxAArea + boxBArea - interArea)
    #MEAN
    mean = iou/K.int_shape(y_pred)[0]
    return 1-mean

model.compile(optimizer='adam', loss=iou, metrics=['accuracy'])
model.fit(x_train, y_train, epochs=20, batch_size = 50)

我的模型可以正常平均误差作为损失函数。模型：

input_shape = (180, 240, 3)
model = Sequential([
    Conv2D(32, (3, 3), input_shape=input_shape, padding='same',activation='relu'),
    MaxPooling2D(pool_size=(2, 2), strides=(2, 2)),
    BatchNormalization(),

    Conv2D(64, (3, 3), activation='relu', padding='same'),
    MaxPooling2D(pool_size=(2, 2), strides=(2, 2)),
    BatchNormalization(),

    Conv2D(128, (3, 3), activation='relu', padding='same',),

    Conv2D(256, (3, 3), activation='relu', padding='same',),
    MaxPooling2D(pool_size=(2, 2), strides=(2, 2)),

    Conv2D(128, (3, 3), activation='relu', padding='same',),
    MaxPooling2D(pool_size=(2, 2), strides=(2, 2)),
    BatchNormalization(),
    Flatten(),
    Dense(4096, activation='relu'),
    Dense(4096, activation='relu'),
    Dense(4, activation='relu')
])

Answer 1

这意味着自定义损失函数内的所有操作都应该是可区分的，否则无法执行优化过程。为此，您只需要逐个检查哪个操作是代码中的罪魁祸首，并用Keras可区分的后端模拟代替它，或者找到其他替代方案。

考虑到提供的代码段，可能有几个可能的建议使其工作：

• for-loop应该是矢量化的
• 因为你使用max（0，...）来获得一个交叉区域，它可能会发生它是常数0并且没有可用的梯度所以检查它是否没有卡在那里
• 对于平均计算，有一个现成的Keras后端函数K.mean
• 为了改善优化（例如，到（0,1）范围），绑定值是一个好习惯。

我希望这有帮助