我们最近切换到Keras for TF 2.0,但是当我们将它与2.0版的DNNClassifier Estimator进行比较时,我们使用Keras的速度降低了大约4倍。但我不能为我的生活弄清楚为什么会这样。两个代码的其余部分是相同的,使用input_fn()返回相同的tf.data.Dataset,并使用相同的feature_columns。几天来一直在努力解决这个问题。任何帮助将非常感激。谢谢
估算代码:
estimator = tf.estimator.DNNClassifier(
feature_columns = feature_columns,
hidden_units = [64,64],
activation_fn = tf.nn.relu,
optimizer = 'Adagrad',
dropout = 0.4,
n_classes = len(vocab),
model_dir = model_dir,
batch_norm = false)
estimator.train(input_fn=train_input_fn, steps=400)
硬编码:
feature_layer = tf.keras.layers.DenseFeatures(feature_columns);
model = tf.keras.Sequential([
feature_layer,
layers.Dense(64, input_shape = (len(vocab),), activation = tf.nn.relu),
layers.Dropout(0.4),
layers.Dense(64, activation = tf.nn.relu),
layers.Dropout(0.4),
layers.Dense(len(vocab), activation = 'softmax')]);
model.compile(
loss = 'sparse_categorical_crossentropy',
optimizer = 'Adagrad'
distribute = None)
model.fit(x = train_input_fn(),
epochs = 1,
steps_per_epoch = 400,
shuffle = True)
更新:为了进一步测试,我写了一个自定义子类模型(参见:Get Started For Experts),它运行速度比Keras快,但比估算器慢。如果Estimator在100秒内训练,则自定义模型大约需要180秒,而Keras大约需要350秒。有趣的是,Estimator使用Adam()的速度比Adagrad()慢,而Keras似乎跑得更快。使用Adam()Keras的时间不到DNNClassifier的两倍。假设我没有弄乱自定义代码,我开始认为DNNClassifier只有很多后端优化/效率,使其运行速度比Keras快。
自定义代码:
class MyModel(Model):
def __init__(self):
super(MyModel, self).__init__()
self.features = layers.DenseFeatures(feature_columns, trainable=False)
self.dense = layers.Dense(64, activation = 'relu')
self.dropout = layers.Dropout(0.4)
self.dense2 = layers.Dense(64, activation = 'relu')
self.dropout2 = layers.Dropout(0.4)
self.softmax = layers.Dense(len(vocab_of_codes), activation = 'softmax')
def call(self, x):
x = self.features(x)
x = self.dense(x)
x = self.dropout(x)
x = self.dense2(x)
x = self.dropout2(x)
return self.softmax(x)
model = MyModel()
loss_object = tf.keras.losses.SparseCategoricalCrossentropy()
optimizer = tf.keras.optimizers.Adagrad()
@tf.function
def train_step(features, label):
with tf.GradientTape() as tape:
predictions = model(features)
loss = loss_object(label, predictions)
gradients = tape.gradient(loss, model.trainable_variables)
optimizer.apply_gradients(zip(gradients, model.trainable_variables))
itera = iter(train_input_fn())
for i in range(400):
features, labels = next(itera)
train_step(features, labels)
更新:它似乎可能是数据集。当我在train_input_fn()中打印一行数据集时,在估算器中,它会打印出非急切的Tensor定义。在Keras,它打印出急切的价值观。通过Keras后端代码,当它收到一个tf.data.dataset作为输入时,它急切地(并且只是急切地)处理它,这就是为什么每当我在train_input_fn()上使用tf.function时它都会崩溃。基本上,我的猜测是DNNClassifier的训练速度比Keras快,因为它在图形模式下运行更多的数据集代码。将发布任何更新/发现。
我认为它较慢,因为它没有在图表上执行。为了在TF2中的图形上执行,你需要一个用tf.function装饰器修饰的函数。查看this section,了解有关如何重构代码的建议。