如何使用DataSet API在Tensorflow中为tf.train.SequenceExample数据创建填充批次?

问题描述 投票:12回答:2

为了在Tensorflow中训练LSTM模型,我将数据结构化为tf.train.SequenceExample格式并将其存储到TFRecord文件中。我现在想使用新的DataSet API来生成用于训练的填充批次。在the documentation中有一个使用padded_batch的例子,但对于我的数据,我无法弄清楚padded_shapes的值应该是多少。

为了将TFrecord文件读入批处理,我编写了以下Python代码:

import math
import tensorflow as tf
import numpy as np
import struct
import sys
import array

if(len(sys.argv) != 2):
  print "Usage: createbatches.py [RFRecord file]"
  sys.exit(0)


vectorSize = 40
inFile = sys.argv[1]

def parse_function_dataset(example_proto):
  sequence_features = {
      'inputs': tf.FixedLenSequenceFeature(shape=[vectorSize],
                                           dtype=tf.float32),
      'labels': tf.FixedLenSequenceFeature(shape=[],
                                           dtype=tf.int64)}

  _, sequence = tf.parse_single_sequence_example(example_proto, sequence_features=sequence_features)

  length = tf.shape(sequence['inputs'])[0]
  return sequence['inputs'], sequence['labels']

sess = tf.InteractiveSession()

filenames = tf.placeholder(tf.string, shape=[None])
dataset = tf.contrib.data.TFRecordDataset(filenames)
dataset = dataset.map(parse_function_dataset)
# dataset = dataset.batch(1)
dataset = dataset.padded_batch(4, padded_shapes=[None])
iterator = dataset.make_initializable_iterator()

batch = iterator.get_next()

# Initialize `iterator` with training data.
training_filenames = [inFile]
sess.run(iterator.initializer, feed_dict={filenames: training_filenames})

print(sess.run(batch))

如果我使用dataset = dataset.batch(1)(在这种情况下不需要填充),代码效果很好,但是当我使用padded_batch变体时,我收到以下错误:

TypeError:如果浅层结构是序列,则输入也必须是序列。输入有类型:。

你能帮我弄清楚我应该为padded_shapes参数传递什么吗?

(我知道有很多使用线程和队列的示例代码,但我宁愿在这个项目中使用新的DataSet API)

python tensorflow lstm tensorflow-datasets
2个回答
9
投票

你需要传递一个形状元组。在你的情况下你应该通过

dataset = dataset.padded_batch(4, padded_shapes=([vectorSize],[None]))

或尝试

dataset = dataset.padded_batch(4, padded_shapes=([None],[None]))

查看此code了解更多详情。我不得不调试这个方法来弄清楚它为什么不适合我。


1
投票

如果当前的Dataset对象包含元组,您还可以指定每个填充元素的形状。

例如,我有一个(same_sized_images, Labels)数据集,每个标签有不同的长度,但排名相同。

def process_label(resized_img, label):
    # Perfrom some tensor transformations
    # ......

    return resized_img, label

dataset = dataset.map(process_label)
dataset = dataset.padded_batch(batch_size, 
                               padded_shapes=([None, None, 3], 
                                              [None, None]))  # my label has rank 2
© www.soinside.com 2019 - 2024. All rights reserved.