TensorFlow的`tf.data`模块使用`tf.data.Dataset`和`tf.data.Iterator`类为构建输入管道提供了一个功能API。
我习惯了新的数据集API,并尝试进行一些时间序列分类。我有一个格式为tf-records的数据集,其形状为:(time_steps x features)。我也有一个标签......
我有一个Tensorflow DatasetV1Adapter对象形式的数据集。
InvalidArgumentError:logits和labels必须具有相同的第一个维度
我正在尝试对图像进行分类。这些图像具有不同的形状,但这不是问题。但是,我正在尝试使用由...提供的tf.data.Dataset.from_generator函数创建数据集。
如何在tensorflow2.0中更改用于训练和评估的图像数量?
Fashion-MNIST数据集自动返回60,000张用于训练的图像和10,000张用于评估的图像。我该如何更改这些数字?这是我的colab源代码,相关部分是:...
在Tensorflow中填充可变长度数据集以进行批处理的有效方法是什么?
我正在尝试将Dataset API集成到我的输入管道中。在此集成之前,该程序使用了tf.train.batch_join(),它启用了动态填充。因此,这将批量元素......
根据您的经验,.tfrecord文件的理想大小将最适用于各种设备(硬盘,ssd,nvme)和存储位置(本地计算机,hpc集群......)
Tensorflow初学者在这里。这是我的第一个项目,我正在使用预定义的估算器。我有一个非常不平衡的数据集,其中积极的结果大约占总数的0.1%......
我们在HDFS目录中存储了一个* .tfrecord文件列表。我想使用新的数据集API但是给出的唯一示例是使用旧文件队列和string_input_producer(https:// www ....
Tensorflow padded_batch用于稀疏张量?
我有一个代码,就像导入张量流一样导入numpy为np sequences = np.array([[1,3,4],[5,6,7,8],[9,10,11,12] ,13],[14,15]])def generator():对于序列中的el:yield el,...
Tensorflow py_func TypeError,带有tf.data.Dataset输出
我试图使用py_func从函数返回数据集,以在tensorflow Dataset管道/ api中使用。但是,py_func会抛出一个错误:TypeError:参数'Tout'的预期DataType不是&...
我有一个从一个tfrecord文件创建的数据集。该数据集包含5个不同的类。现在我想从每个批次创建具有固定数量元素(例如8个)的批次。所以应该......
我有一个csv文件,其格式和数据如下:ID nr1 nr2 nr3 nr4 nr5 next_nr 1 1 2 3 4 5 6 2 2 3 4 5 6 7 3 3 4 5 6 7 8 4 4 5 6 7 8 9 5 5 6 ...
使用tf.data.Dataset作为Keras模型的训练输入不工作
我有一个简单的代码,可用于在Tensorflow中使用numpy数组作为特征和标签来训练Keras模型。如果我然后使用tf.data.Dataset.from_tensor_slices包装这些numpy数组...
我正在使用数据集api从tfrecords中读取数据。我正在使用以下代码将字符串数据转换为虚拟数据。 SFR1 = tf.feature_column.indicator_column(tf.feature_column ....
使用tf.contrib.data.parallel_interleave并行化tf.from_generator
我有一堆JSON数组文件(AVRO是准确的),每个文件都会产生多个样本来训练Keras模型。使用来自@GPhilo和@jsimsa的想法,我能够想出这个......
我正在尝试使用数据集API来准备文本序列的TFRecordDataset。处理完毕后,我为每条记录都有一张张量词典。每条记录包含两个序列。我在用 ...
我正在使用tf.contrib.data.make_csv_dataset(csv_path)读取CSV文件,CSV有2列,即评论和评级。我想在阅读后在审核列上执行标记化操作。 dataset = ...
如何在tf.data.Dataset中填充固定的BATCH_SIZE?
我有一个包含11个样本的数据集。当我选择BATCH_SIZE为2时,以下代码将出错:dataset = tf.contrib.data.TFRecordDataset(filenames)dataset = dataset.map(parser)if ...
我想读取一个图像来预测我的模型,首先探测我想要用我的模型预测图像的tf.record这是解码tf.record import tensorflow的代码...
Tensorflow 1.10 TFRecordDataset - 恢复TFRecords
注:这个问题延伸到我之前的一个问题。在那个问题中,我询问存储一些虚拟数据的最佳方法作为例子和SequenceExample寻求知道哪个更好...