tensorflow-datasets 相关问题

TensorFlow的`tf.data`模块使用`tf.data.Dataset`和`tf.data.Iterator`类为构建输入管道提供了一个功能API。

在Keras中使用TF数据集API的既定方法是使用`make_one_shot_iterator()`来提供`model.fit`,但是这个迭代器只适用于一个Epoch

编辑:为了澄清为什么这个问题与建议的重复问题有所不同,这个SO问题跟进了那些建议的重复,关于Keras究竟在做什么描述...

回答 1 投票 0

使用Dataset api返回特定元素

我写了一个tfrecord文件,其中我有图像和他们的标签。然后我可以使用def parserTrain(记录)来接它们:keys_to_features = {“image_raw”:tf.FixedLenFeature((),...

回答 2 投票 0

tf.keras中的数据管道,带有tfrecords或numpy

我想在Tensorflow 2.0的tf.keras中训练一个模型,其数据大于我的ram,但教程只展示了预定义数据集的示例。我按照本教程:用...加载图像

回答 1 投票 0

Tensorflow TFrecord文件大小不等

我目前将我的数据分成几个TFrecord文件,然后通过改组和交错来读取数据。我的代码如下:path_to_files = glob('train _ * .tfrecord')n_files = len(...

回答 2 投票 1

Tensorflow a2.0.0:将CSV转换为tfrecord,创建使用来自大型源的流水线数据的Keras模型,将权重存储到CSV文件中?

我正在学习Andrew NG在Coursera上的讲座。该课程使用Matlab,它非常适合理解和原型化机器学习模型,但它相当慢。我是 ...

回答 1 投票 0

如何在tf.data.Dataset.map()中使用Keras的predict_on_batch?

我想找到一种方法在TF2.0中的tf.data.Dataset.map()中使用Keras的predict_on_batch。假设我有一个numpy数据集n_data = 10 ** 5 my_data = np.random.random((n_data,10,1))...

回答 1 投票 0

tensorflow - tf.data.Dataset在批处理之前随机跳过样本以获得不同的批次

我的模型在每个输入批次中消耗按时间顺序排列的序列。因此,我在洗牌输入数据之前创建批次。这带来了批次总是包含相同的问题......

回答 1 投票 3

TensorFlow - 使用interleave或parallel_interleave时出错

我正在使用这个问答的V1.12 API的tf.data.Datasets来读取目录中每个文件预先保存的几个.h5文件。我首先制作了一个生成器:class generator_yield:def __init __(self,...

回答 2 投票 0

如何在tf.data API中使用Keras生成器

我正在尝试使用Keras预处理库中的生成器。我想试验这个,因为Keras提供了很好的图像增强功能。但是,我不确定这是不是......

回答 2 投票 2

TFRecords视频

我正在尝试从自定义视频数据集创建TFRecords,我在完全理解如何设置它们时遇到问题。为了准备我的数据进行存储,我写了一个脚本,给出了给定的...

回答 1 投票 1

更改batch(),shuffle()和repeat()的顺序时的输出差异

我创建了一个tensorflow数据集,使其可重复,对其进行洗牌,将其分成批次,并构建了一个迭代器来获取下一批。但是当我这样做时,有时元素是......

回答 3 投票 0

如何将组件名称添加/更改为现有Tensorflow数据集对象?

从Tensorflow数据集指南中可以看出,为元素的每个组件指定名称通常很方便,例如,如果它们代表训练示例的不同功能。在......

回答 1 投票 1

tf.Dataset.batch是否默认预加载以及如何禁用?

当使用tf.Dataset.batch时,get_next()将在调用时预加载一些数据。看起来有一个后台线程这样做。有没有办法禁用它?复制码片:导入...

回答 1 投票 1

FailedPreconditionError(参见上面的回溯):GetNext()失败,因为迭代器尚未初始化

我在进行预测时为输入数据构建了一个数据集管道。但是,当我尝试代码时,发生了一个错误FailedPreconditionError(参见上面的回溯):GetNext()失败,因为......

回答 1 投票 1

如何在OpenCV预处理中使用Tensorflow数据集?

我正在创建一个用于文本识别的管道,我想使用Tensorflow Dtatasets通过OpenCV的一些预处理加载数据我遵循本教程https://www.tensorflow.org / ...

回答 2 投票 -1

只有在启用了eager执行时,才支持TensorFlow 2.0数据集.__ iter __()

我在TensorFlow 2中使用以下自定义训练代码:def parse_function(filename,filename2):image = read_image(fn)def ret1():return image,read_image(fn2),0 def ret2():...

回答 2 投票 1

如何获得tensorflow.data.Dataset的行数,列数/维数?

像pandas_df.shape有任何方法可以使用tensorflow.data.Dataset吗?谢谢。

回答 1 投票 2

使用keras在gcloud ml-engine上处理数TB数据的最佳方法

我想在gcloud存储上训练大约2TB图像数据的模型。我将图像数据保存为单独的tfrecords,并尝试使用此示例后的tensorflow数据api https://medium.com / @ ...

回答 1 投票 1

如何使数据集丢失三重态

我正在尝试制作能够提供批量TFRecords的数据集,其中一个批次将有来自一个类别的2个随机记录,其余来自其他随机类别。或者......的数据集

回答 1 投票 1

Tensorflow:使用tf.data.Dataset API预测

我正在使用带有Tensorflow后端的Keras来构建这个问题的模型:https://www.kaggle.com/cfpb/us-consumer-finance-complaints(只是练习)。我使用tf.data训练我的Keras模型....

回答 2 投票 2

© www.soinside.com 2019 - 2024. All rights reserved.