TensorFlow的`tf.data`模块使用`tf.data.Dataset`和`tf.data.Iterator`类为构建输入管道提供了一个功能API。
如何只选择一个Tensorflow数据集的一部分,并改变维度。
我希望在UCF101的10个帧段上训练我的模型,没有任何标签。目前我有这样的方法: import tensorflow as tf import tensorflow_datasets as tfds x_train = tfds.load('ucf101', split='......)
tensorflow数据集:用unbatching(batch -> map -> unbatch)还是只用map进行矢量化更高效?
TensorFlow建议在用map进行变换之前对数据集进行批处理,以便将变换进行矢量化,减少开销:https:/www.tensorflow.orgguidedata_performance# ...
我有一个图像数据集,我通过tf.dataset.list_files()来检索。在我的.map()函数中,我读取和解码图像,如下所示。def map_function(filepath): image = tf.io...。
防止Tensosflow Dataset在多次调用model.predict时重置生成器。
我正在使用tensorflow Dataset from_generator方法在不同批次上使用CNN模型进行预测。但我想在每个批次预测后添加一些额外的逻辑。具体来说,我想...
使用TFrecords在TPU中使用图像分割,训练损失为Nan
我是初学者,尝试在Kaggle Kernels中使用Tensorflow与TPU一起工作。我以前使用GPU中的数据集训练了Unet模型,现在我试图在TPU中实现它。我做了一个tfrecord ...
您好我正在尝试在终端中安装tensorflow_datasets出现conda install -c anaconda tensorflow-datasets收集软件包元数据(current_repodata.json):完成解决环境:完成...
module'tensorflow_core._api.v2.data'没有属性'Iterator'
无法找出代替Iterator的方法,我尝试了tf.compat.v1.data.Iterator,但又遇到了另一个错误-AttributeError:'PrefetchDataset'对象没有属性'output_types'代码:...
带有TFRecords上的SavedModel的ObjectDetection推断
我正在尝试使用来自检测模型动物园的SavedModel进行推理。我可以使用“对象检测教程”得到一个可行的示例。但是,它运行得很慢,我怀疑...
如何从Google机器学习崩溃课程中替换make_one_shot_iterator()
我正在学习Google机器学习强化课程。但是它使用TensorFlow的1.x版本,因此我打算更改这些练习以使其能够在TensorFlow 2.0中运行。但是我被卡住了...
[您有这个问题来训练TensorFlow数据集中的猫和狗数据集,我需要将其转换为图像和标签。我需要构建一个从...
Tensorflow 2.0-tf.estimator.DNNClassifier对大型数据集的训练
[我正在尝试训练DNNClassifier标签= ['BENIGN','Syn','UDPLag','UDP','LDAP','MSSQL','NetBIOS','WebDDoS']#构建DNN分类器= tf.estimator.DNNClassifier(...
随机播放TFRecordDataset文件,但文件内部没有样本
我已生成数据并将其保存到多个tfrecord文件中,然后将其加载到TFRecordDataset中。如何按文件对数据集进行混洗?也就是说,我想保留样本的顺序...
我正在尝试从tensorflow数据集创建填充批处理,这使我出错。样本数据:A = [([[[101,9385,13302,102],[1,1,1,1],[0,0,0,0]]),([[101,9385,13302], [1,1,1],[0,0,0]],...
具有非常大的HDF5文件的Tensorflow-IO数据集输入管道
我有非常大的训练(30Gb)文件。由于所有数据都不适合我的可用RAM,因此我想分批读取数据。我看到有Tensorflow-io软件包,该软件包实现了一种读取...
如何创建用于3D对象检测的自定义数据集,我想使用“ Stanford3dDataset”或“ Scannet”作为基线并将我感兴趣的对象添加到数据集中。我已经捕获了PCD文件...
如何在TF 2中通过自定义函数使用tf.data.Dataset.interleave()?
我正在使用TF 2.2,并且正在尝试使用tf.data创建管道。以下工作正常:def load_image(filePath,label):print('正在加载文件:{}'+ filePath)raw_bytes = tf.io ....
dataset = tf.data.Dataset.from_tensor_slices((images,boxes))function_to_map = lambda x,y:func3(x,y)fast_benchmark(dataset.map(function_to_map).batch(1).prefetch(tf.data) .experimental.AUTOTUNE))现在...
如何在使用tf.py_function的映射函数中将Tensor转换为numpy数组
我正在尝试为对象检测网络创建图像增强管道,在此过程中,我的训练示例进入网络时将得到增强。图像和边框必须是...
`tf.data.Dataset`在CPU上运行,除了`PrefetchDataset`?
阅读完tf.data文档(此处为TF 1.15),相关的TF代码(Python和C ++)之后,我意识到,除了PrefetchDataset之外,大部分代码似乎都完全在CPU上运行。是那...