tensorflow-datasets 相关问题

TensorFlow的`tf.data`模块使用`tf.data.Dataset`和`tf.data.Iterator`类为构建输入管道提供了一个功能API。

如何只选择一个Tensorflow数据集的一部分,并改变维度。

我希望在UCF101的10个帧段上训练我的模型,没有任何标签。目前我有这样的方法: import tensorflow as tf import tensorflow_datasets as tfds x_train = tfds.load('ucf101', split='......)

回答 1 投票 1

tensorflow数据集:用unbatching(batch -> map -> unbatch)还是只用map进行矢量化更高效?

TensorFlow建议在用map进行变换之前对数据集进行批处理,以便将变换进行矢量化,减少开销:https:/www.tensorflow.orgguidedata_performance# ...

回答 1 投票 0

用tf.data.Dataset()矢量化映射时出错。

我有一个图像数据集,我通过tf.dataset.list_files()来检索。在我的.map()函数中,我读取和解码图像,如下所示。def map_function(filepath): image = tf.io...。

回答 1 投票 0

防止Tensosflow Dataset在多次调用model.predict时重置生成器。

我正在使用tensorflow Dataset from_generator方法在不同批次上使用CNN模型进行预测。但我想在每个批次预测后添加一些额外的逻辑。具体来说,我想...

回答 1 投票 0

使用TFrecords在TPU中使用图像分割,训练损失为Nan

我是初学者,尝试在Kaggle Kernels中使用Tensorflow与TPU一起工作。我以前使用GPU中的数据集训练了Unet模型,现在我试图在TPU中实现它。我做了一个tfrecord ...

回答 1 投票 0

tensor flow_dataset

您好我正在尝试在终端中安装tensorflow_datasets出现conda install -c anaconda tensorflow-datasets收集软件包元数据(current_repodata.json):完成解决环境:完成...

回答 1 投票 0

module'tensorflow_core._api.v2.data'没有属性'Iterator'

无法找出代替Iterator的方法,我尝试了tf.compat.v1.data.Iterator,但又遇到了另一个错误-AttributeError:'PrefetchDataset'对象没有属性'output_types'代码:...

回答 1 投票 1

带有TFRecords上的SavedModel的ObjectDetection推断

我正在尝试使用来自检测模型动物园的SavedModel进行推理。我可以使用“对象检测教程”得到一个可行的示例。但是,它运行得很慢,我怀疑...

回答 1 投票 0

如何从Google机器学习崩溃课程中替换make_one_shot_iterator()

我正在学习Google机器学习强化课程。但是它使用TensorFlow的1.x版本,因此我打算更改这些练习以使其能够在TensorFlow 2.0中运行。但是我被卡住了...

回答 1 投票 0

将Tensorflow数据集转换为图像和标签

[您有这个问题来训练TensorFlow数据集中的猫和狗数据集,我需要将其转换为图像和标签。我需要构建一个从...

回答 1 投票 0

Tensorflow 2.0-tf.estimator.DNNClassifier对大型数据集的训练

[我正在尝试训练DNNClassifier标签= ['BENIGN','Syn','UDPLag','UDP','LDAP','MSSQL','NetBIOS','WebDDoS']#构建DNN分类器= tf.estimator.DNNClassifier(...

回答 2 投票 2

随机播放TFRecordDataset文件,但文件内部没有样本

我已生成数据并将其保存到多个tfrecord文件中,然后将其加载到TFRecordDataset中。如何按文件对数据集进行混洗?也就是说,我想保留样本的顺序...

回答 1 投票 1

如何在Tensorflow 2.0中创建填充批处理?

我正在尝试从tensorflow数据集创建填充批处理,这使我出错。样本数据:A = [([[[101,9385,13302,102],[1,1,1,1],[0,0,0,0]]),([[101,9385,13302], [1,1,1],[0,0,0]],...

回答 1 投票 0

具有非常大的HDF5文件的Tensorflow-IO数据集输入管道

我有非常大的训练(30Gb)文件。由于所有数据都不适合我的可用RAM,因此我想分批读取数据。我看到有Tensorflow-io软件包,该软件包实现了一种读取...

回答 1 投票 1

用于自定义对象的3D对象检测;数据集创建

如何创建用于3D对象检测的自定义数据集,我想使用“ Stanford3dDataset”或“ Scannet”作为基线并将我感兴趣的对象添加到数据集中。我已经捕获了PCD文件...

回答 1 投票 0

如何在TF 2中通过自定义函数使用tf.data.Dataset.interleave()?

我正在使用TF 2.2,并且正在尝试使用tf.data创建管道。以下工作正常:def load_image(filePath,label):print('正在加载文件:{}'+ filePath)raw_bytes = tf.io ....

回答 1 投票 0

如何将映射函数应用于tf.Tensor

dataset = tf.data.Dataset.from_tensor_slices((images,boxes))function_to_map = lambda x,y:func3(x,y)fast_benchmark(dataset.map(function_to_map).batch(1).prefetch(tf.data) .experimental.AUTOTUNE))现在...

回答 1 投票 1

如何在使用tf.py_function的映射函数中将Tensor转换为numpy数组

我正在尝试为对象检测网络创建图像增强管道,在此过程中,我的训练示例进入网络时将得到增强。图像和边框必须是...

回答 1 投票 3


`tf.data.Dataset`在CPU上运行,除了`PrefetchDataset`?

阅读完tf.data文档(此处为TF 1.15),相关的TF代码(Python和C ++)之后,我意识到,除了PrefetchDataset之外,大部分代码似乎都完全在CPU上运行。是那...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.