我正在使用像这个tf.data.Datasets
的V1.12 API的Q&A来读取目录中每个文件预先保存的几个.h5文件。我先做了一台发电机:
class generator_yield:
def __init__(self, file):
self.file = file
def __call__(self):
with h5py.File(self.file, 'r') as f:
yield f['X'][:], f['y'][:]
然后制作一个文件名列表并将它们传递到Dataset
:
def _fnamesmaker(dir, mode='h5'):
fnames = []
for dirpath, _, filenames in os.walk(dir):
for fname in filenames:
if fname.endswith(mode):
fnames.append(os.path.abspath(os.path.join(dirpath, fname)))
return fnames
fnames = _fnamesmaker('./')
len_fnames = len(fnames)
fnames = tf.data.Dataset.from_tensor_slices(fnames)
应用数据集的交错方法:
# handle multiple files
ds = fnames.interleave(lambda filename: tf.data.Dataset.from_generator(
generator_yield(filename), output_types=(tf.float32, tf.float32),
output_shapes=(tf.TensorShape([100, 100, 1]), tf.TensorShape([100, 100, 1]))), cycle_length=len_fnames)
ds = ds.batch(5).shuffle(5).prefetch(5)
# init iterator
it = ds.make_initializable_iterator()
init_op = it.initializer
X_it, y_it = it.get_next()
模型:
# model
with tf.name_scope("Conv1"):
W = tf.get_variable("W", shape=[3, 3, 1, 1],
initializer=tf.contrib.layers.xavier_initializer())
b = tf.get_variable("b", shape=[1], initializer=tf.contrib.layers.xavier_initializer())
layer1 = tf.nn.conv2d(X_it, W, strides=[1, 1, 1, 1], padding='SAME') + b
logits = tf.nn.relu(layer1)
loss = tf.reduce_mean(tf.losses.mean_squared_error(labels=y_it, predictions=logits))
train_op = tf.train.AdamOptimizer(learning_rate=0.0001).minimize(loss)
开始会话:
with tf.Session() as sess:
sess.run([tf.global_variables_initializer(), init_op])
while True:
try:
data = sess.run(train_op)
print(data.shape)
except tf.errors.OutOfRangeError:
print('done.')
break
错误看起来像:
TypeError:预期的str,bytes或os.PathLike对象,而不是Tensor在生成器的init方法中。显然,当一个人应用交错时,它是一个Tensor传递给发生器
您无法通过sess.run直接运行数据集对象。你必须定义一个迭代器,获取下一个元素。尝试做类似的事情:
next_elem = files.make_one_shot_iterator.get_next()
data = sess.run(next_elem)
你应该能够获得你的张量。
根据这个post,我的情况不会受益于parralel_interleave
的表现。
...有一个转换,可以将源数据集的每个元素转换为多个元素到目标数据集中......
它与典型的分类问题更相关,数据(狗,猫......)保存在不同的目录中。我们这里有一个分段问题,这意味着标签包含输入图像的相同尺寸。所有数据都存储在一个目录中,每个.h5文件包含一个图像及其标签(掩码)
在这里,一个简单的map
与num_parallel_calls
是sufficient。