TensorFlow的`tf.data`模块使用`tf.data.Dataset`和`tf.data.Iterator`类为构建输入管道提供了一个功能API。
在Keras中使用TF数据集API的既定方法是使用`make_one_shot_iterator()`来提供`model.fit`,但是这个迭代器只适用于一个Epoch
编辑:为了澄清为什么这个问题与建议的重复问题有所不同,这个SO问题跟进了那些建议的重复,关于Keras究竟在做什么描述...
我写了一个tfrecord文件,其中我有图像和他们的标签。然后我可以使用def parserTrain(记录)来接它们:keys_to_features = {“image_raw”:tf.FixedLenFeature((),...
tf.keras中的数据管道,带有tfrecords或numpy
我想在Tensorflow 2.0的tf.keras中训练一个模型,其数据大于我的ram,但教程只展示了预定义数据集的示例。我按照本教程:用...加载图像
我目前将我的数据分成几个TFrecord文件,然后通过改组和交错来读取数据。我的代码如下:path_to_files = glob('train _ * .tfrecord')n_files = len(...
Tensorflow a2.0.0:将CSV转换为tfrecord,创建使用来自大型源的流水线数据的Keras模型,将权重存储到CSV文件中?
我正在学习Andrew NG在Coursera上的讲座。该课程使用Matlab,它非常适合理解和原型化机器学习模型,但它相当慢。我是 ...
如何在tf.data.Dataset.map()中使用Keras的predict_on_batch?
我想找到一种方法在TF2.0中的tf.data.Dataset.map()中使用Keras的predict_on_batch。假设我有一个numpy数据集n_data = 10 ** 5 my_data = np.random.random((n_data,10,1))...
tensorflow - tf.data.Dataset在批处理之前随机跳过样本以获得不同的批次
我的模型在每个输入批次中消耗按时间顺序排列的序列。因此,我在洗牌输入数据之前创建批次。这带来了批次总是包含相同的问题......
TensorFlow - 使用interleave或parallel_interleave时出错
我正在使用这个问答的V1.12 API的tf.data.Datasets来读取目录中每个文件预先保存的几个.h5文件。我首先制作了一个生成器:class generator_yield:def __init __(self,...
我正在尝试使用Keras预处理库中的生成器。我想试验这个,因为Keras提供了很好的图像增强功能。但是,我不确定这是不是......
我正在尝试从自定义视频数据集创建TFRecords,我在完全理解如何设置它们时遇到问题。为了准备我的数据进行存储,我写了一个脚本,给出了给定的...
更改batch(),shuffle()和repeat()的顺序时的输出差异
我创建了一个tensorflow数据集,使其可重复,对其进行洗牌,将其分成批次,并构建了一个迭代器来获取下一批。但是当我这样做时,有时元素是......
如何将组件名称添加/更改为现有Tensorflow数据集对象?
从Tensorflow数据集指南中可以看出,为元素的每个组件指定名称通常很方便,例如,如果它们代表训练示例的不同功能。在......
tf.Dataset.batch是否默认预加载以及如何禁用?
当使用tf.Dataset.batch时,get_next()将在调用时预加载一些数据。看起来有一个后台线程这样做。有没有办法禁用它?复制码片:导入...
FailedPreconditionError(参见上面的回溯):GetNext()失败,因为迭代器尚未初始化
我在进行预测时为输入数据构建了一个数据集管道。但是,当我尝试代码时,发生了一个错误FailedPreconditionError(参见上面的回溯):GetNext()失败,因为......
我正在创建一个用于文本识别的管道,我想使用Tensorflow Dtatasets通过OpenCV的一些预处理加载数据我遵循本教程https://www.tensorflow.org / ...
只有在启用了eager执行时,才支持TensorFlow 2.0数据集.__ iter __()
我在TensorFlow 2中使用以下自定义训练代码:def parse_function(filename,filename2):image = read_image(fn)def ret1():return image,read_image(fn2),0 def ret2():...
如何获得tensorflow.data.Dataset的行数,列数/维数?
像pandas_df.shape有任何方法可以使用tensorflow.data.Dataset吗?谢谢。
使用keras在gcloud ml-engine上处理数TB数据的最佳方法
我想在gcloud存储上训练大约2TB图像数据的模型。我将图像数据保存为单独的tfrecords,并尝试使用此示例后的tensorflow数据api https://medium.com / @ ...
我正在尝试制作能够提供批量TFRecords的数据集,其中一个批次将有来自一个类别的2个随机记录,其余来自其他随机类别。或者......的数据集
Tensorflow:使用tf.data.Dataset API预测
我正在使用带有Tensorflow后端的Keras来构建这个问题的模型:https://www.kaggle.com/cfpb/us-consumer-finance-complaints(只是练习)。我使用tf.data训练我的Keras模型....