为什么我的张量流生成器函数这么慢？

Question

以下发电机功能太慢。有没有一种方法可以优化此代码？train_dataset_c1是图像1类别1的火车数据集train_dataset_c0是形式为image的Class 0的火车数据集，[0

def generator(positive_dataset, negative_dataset):
while True:
    for pos_rec, neg_rec in zip(positive_dataset, negative_dataset):
        pos_x, pos_y = pos_rec
        neg_x, neg_y = neg_rec
        x = tf.concat([pos_x, neg_x], axis=0)
        y = tf.concat([pos_y, neg_y], axis=0)
        yield x, y

train_generator = generator(train_dataset_c1, train_dataset_c0)
test_generator = generator(test_dataset_c1, test_dataset_c0)

Answer 1

如果您使用的是tensorflow 2.0，我建议您使用tf.data API来加快您的流程。

实际上有一个from_generator函数，您可以将其应用于发生器以使其加速

通过使用此函数将其转换为tf.data.Dataset对象后，您可以通过使用此tutorial中的任何策略来进一步优化它。>