无法通过自定义约束加载keras模型

Question

我为我的keras GRU-NN创建了一个自定义约束，并能够使用它来训练我的网络。约束如下所示：

import keras.backend as K
from keras.constraints import Constraint

class WeightClip(Constraint):
    def __init__(self, mn=0.1, mx=1.0):
        self.mn = mn
        self.mx = mx

    def __call__(self, p):
        return K.clip(p, self.mn, self.mx)

    def get_config(self):
        return {
            'name': self.__class__.__name__,
            'minimum': self.mn, 
            'maximum': self.mx
        }

保存模型并尝试重新加载后

model = keras.models.load_model(modelFile, custom_objects={'WeightClip': WeightClip})

我收到此错误消息：

TypeError: __init__() got an unexpected keyword argument 'name'

模型本身看起来像：

model = Sequential()
model.add(GRU(
    params.recurrent_units, 
    activation='linear',
    input_shape=(pr.n_features, pr.feature_size), 
    dropout=params.dropout, name='net',
    kernel_constraint=WeightClip(0.1, 1.0),
    bias_constraint=WeightClip(0.1, 1.0)
))
model.add(Dense(
    1, 
    activation='sigmoid', 
    kernel_constraint=WeightClip(0.1, 1.0),
    bias_constraint=WeightClip(0.1, 1.0)
))

参考关于stackoverflow的其他类似问题，这些问题大多数时候与自定义指标有关，但是，我尝试了custom_objects参数的不同组合，但似乎无济于事。感谢您的帮助！

Answer 1

幕后发生的事情

当您在custom_object中保存包含keras的模型时，它将保存对类名的引用以及包含对象当前配置的字典。通过调用自定义对象实例的.get_config()方法来实现。因此，此方法应返回一个字典，其中包含重新创建实例所需的所有内容。

调用keras.models.load()之后，keras将加载您的模型并使用保存的词典创建自定义对象的实例。让我们暂时假设old_object_configuration = weight_clip_instance.get_config()。 keras现在将使用new_weight_clip_instance = WeightClip(**old_object_configuration)建立一个新实例。当您在name方法中返回参数.get_config()时，但在WeightClip.__init__()的签名中没有名称参数，将会出现您看到的错误。

返回空字典会影响您的模型吗？

使用上面的知识，我们现在可以预测如果您的.get_config()方法返回空字典会发生什么。这导致调用new_weight_clip_instance = WeightClip({})。新实例将具有mn=0.1和mx=1.0的默认值，这不是理想的行为，并导致难以发现错误。

一个工作示例

import keras
import keras.backend as K
from keras import Sequential
from keras.constraints import Constraint
from keras.layers import GRU, Dense


RECURRENT_UNITS = 10
N_FEATURES = 10
FEATURE_SIZE = 50
DROPOUT = 0.5


class WeightClip(Constraint):
    def __init__(self, minimum=0.1, maximum=1.0):
        self.minimum = minimum
        self.maximum = maximum

    def __call__(self, p):
        return K.clip(p, self.minimum, self.maximum)

    def get_config(self):
        return {
            'minimum': self.minimum,
            'maximum': self.maximum
        }


model = Sequential()
model.add(GRU(
    RECURRENT_UNITS,
    activation='linear',
    input_shape=(N_FEATURES, FEATURE_SIZE),
    dropout=DROPOUT,
    name='net',
    kernel_constraint=WeightClip(0.1, 1.0),
    bias_constraint=WeightClip(0.1, 1.0)
))
model.add(Dense(
    1,
    activation='sigmoid',
    kernel_constraint=WeightClip(0.1, 1.0),
    bias_constraint=WeightClip(0.1, 1.0)
))
model.save('mymodel')

model = keras.models.load_model('mymodel', custom_objects={'WeightClip': WeightClip})