TensorFlow的`tf.data`模块使用`tf.data.Dataset`和`tf.data.Iterator`类为构建输入管道提供了一个功能API。
Tensorflow-datasets "plant_village" dataset no examples were yield
我的环境： Python 3.11.2，Tensorflow 2.12.0-rc1，Tensorflow-datasets 4.8.3，在 Visual Studio Code 中完美干净的新创建的虚拟环境，唯一执行的操作是 pip i ...
带有自定义训练循环和 tf.data.dataset 的 tensorflow
我正在尝试构建一个带有自定义训练循环的张量流模型，以使用预测来提供下一个时间步长的输入。关于头部和输入集的模型。我有问题要找到如何通过...
Tensorflow 数据集 - 在尝试从加载的数据集中获取图像列表时使用所有可用 RAM 后会话崩溃
我从 tesnsorflow 数据集加载 Food101 数据集，然后对其进行预处理和批处理以训练模型。我得到的test_data格式如下： 我从 tesnsorflow 数据集加载了 Food101 数据集，然后对其进行预处理和批处理以训练模型。我得到的test_data格式如下： test_data集中有25250张图片 然后，在我训练完我的模型后，我想通过从测试数据集中挑选随机图像来评估我的模型。 所以，我决定从测试数据中获取图像和标签列表。经过四处搜索，我决定使用下面的方法分别获取图像列表和标签： labels = list(map(lambda x: x[1].numpy(), test_data.unbatch())) 图片=列表（地图（lambda x：x [0]，test_data.unbatch（））） 用于标签的工作正常，但图像一直使 Colab 会话崩溃（您的会话在使用所有可用 RAM 后崩溃。） 我正在写信询问是否有一种方法可以解决从测试数据集（预取数据集类型）中选择随机图像和标签而不转换为列表或其他方式将其转换为列表而不会崩溃。似乎 tf.data.take(n) 将从数据集中获取 n 个样本，但我无法找到随机选择一个的方法。 谢谢。 当您调用list(...)时，您的代码似乎正在尝试将所有图像加载到内存中。 为了得到一个元素，你确实需要使用tf.data.take()，但是要得到一个random，你必须先调用tf.data.Dataset.shuffle(shuffle_buffer_size)。 （你也应该在tf.data.Dataset.prefetch()之前调用它）。请参阅 docs 了解随机播放方法。 注意：如果您只想评估测试数据集的性能，请考虑使用model.evaluate()。 文档
如何在 tensorflow 2.0 中创建训练、测试和验证拆分
刚接触tensorflow，已经开始使用tensorflow 2.0 我已经为多类分类问题构建了一个张量流数据集。我们称其为 labeled_ds。我准备了这个数据集...
尝试使用 Keras 创建函数式 API 模型时出现“ValueError：无法找到可以处理输入的数据适配器”
这是我得到的错误： ValueError：找不到可以处理输入的数据适配器：（包含类型{“ 这是我得到的错误： ValueError：找不到可以处理输入的数据适配器：（ 包含类型 {“”，“”} 的值）， 我认为这是由于我在 model.fit 方法中传递的内容作为验证和训练数据集。 我正在尝试创建一个多输入模型，该模型使用存储在表中的图像和元数据，其中每一行都包含有关该图像的元数据。 当我分别训练模型时，它们可以很好地处理给定的训练和验证数据集，所以我很困惑为什么它现在不起作用。我不确定我是否必须以不同的方式拆分和创建数据集，因为我现在使用的是函数式 API。 ''' FOR CNN AND IMAGES ''' cnn_data = tf.keras.utils.image_dataset_from_directory("training_data") cnn_data = cnn_data.map(lambda x, y: (x/255, y)) scaled_iterator = cnn_data.as_numpy_iterator() batch = scaled_iterator.next() #batch[0].max() #should be 1.0 cnn_train_size = int(len(cnn_data) * 0.8) cnn_val_size = int(len(cnn_data) * 0.2)+1 #establishes the training and validation sets cnn_train = cnn_data.take(cnn_train_size) cnn_val = cnn_data.skip(cnn_train_size).take(cnn_val_size) ''' FOR METADATA ''' dataframe = pd.read_csv('MetaDatav2.csv') # Drop unused features. dataframe = dataframe.drop(columns=['patient_id', 'lesion_id', 'benign_malignant']) #remove all rows with missing data dataframe = dataframe.dropna() #split the data into train and validation sets, 80/20 split meta_train, meta_val = np.split(dataframe.sample(frac=1), [int(0.8*len(dataframe))]) #creates a dataset from the df def df_to_dataset(dataframe, shuffle=True, batch_size=32): df = dataframe.copy() labels = df.pop('target') df = {key: value[:,tf.newaxis] for key, value in dataframe.items()} #returns a dataset object ds = tf.data.Dataset.from_tensor_slices((dict(df), labels)) if shuffle: ds = ds.shuffle(buffer_size=len(dataframe)) ds = ds.batch(batch_size) ds = ds.prefetch(batch_size) return ds meta_train_ds = df_to_dataset(meta_train, batch_size=batch_size) meta_val_ds = df_to_dataset(meta_val, shuffle=False, batch_size=batch_size) #training the model model.compile(optimizer = 'adam', loss = tf.losses.BinaryCrossentropy(), metrics = ['accuracy']) model.fit( x=[ cnn_train, meta_train_ds ], validation_data=([ cnn_val, meta_val_ds ]), epochs=10, batch_size=100) 如果您需要我发布更多代码，请告诉我，但我认为这应该足够了
使用 tfdf.keras.pd_dataframe_to_tf_dataset 时在轴中找不到标签
我在 google colab 环境中并尝试训练一个 tensorflow 决策森林。 我像这样加载我的数据集：dataset_df = pd.read_csv("/content/drive/MyDrive/Medical_Error_Test_Data-_1_...
我试图为图像分类创建一个神经网络。这是我的模型摘要。我已经对我的数据集进行了归一化处理，并对我的数据进行了洗牌。. 当我运行model.fit的时候，val_loss非常...
如果你使用Tensorflow Dataset，你必须上传你的数据吗？
我一直在看Tensorflow Dataset（TFDS），似乎真的很有用。我看到的唯一问题是，如果你想使用它，你必须公开上传你的数据集到TFDS。是这样吗？是...
下面的例子摘自TensorFlow官方的数据管道教程。基本上，人们将一堆JPG的大小调整为（128，128，3）。由于某些原因，在应用map()操作时， ...
我使用Matterport Mask RCNN作为我的模型，我正试图建立我的数据库进行训练。经过对下面问题的反复斟酌，我想我实际上问的是，我如何添加比 ...
我正在做一个与实例分割相关的项目。我试图用我自己的图像数据集来训练一个SegNet，该数据集包括一组图像及其对应的掩码，我有 ...
IndexError: tuple index out of range when using Datasets with tensorflow 2.1.
生成我自己的TFRecords，我似乎无法在我的模型中正确使用数据集。只是为了测试是否是我当前的文件或模型代码中的某些东西，我使用MNIST的tfds，并有相同的......
当传递一个无限重复的数据集时，你必须指定`steps_per_epoch`参数。
我试图使用这个谷歌的例子，但与我自己的数据集：https:/github.comtensorflowexamplesblobmastertensorflow_exampleslitemodel_customizationdemotext_classification.ipynb我...
通过huggingface tokenizer映射文本数据。
我的编码函数是这样的： from transformers import BertTokenizer, BertModel MODEL = 'bert-base-multilingual-uncased' tokenizer = BertTokenizer.from_pretrained(MODEL) def ...。
如何在任意位置从from_tensor_slices获取数据集（Tensorflow）。
我需要从数据集中获取任意位置的数据。它看起来像： tf.Tensor([77 78 79 80 81 82 83 84 85 86], shape=(10,), dtype=int32) tf.Tensor([ 7 8 9 10 11 12 13 14 15 16], shape=(10,), ...
从Train and evaluate with Keras: 当从Dataset对象进行训练时，不支持参数validation_split（从训练数据中生成一个保持集），因为这个特征需要 ...
在TF 2.0中没有废弃的tf.placeholder方法的serving_input_receiver_fn()函数。
我有一个在TF 1中构建的tf.estimator流水线，但现在我决定转到TF 2.0，我在我的流水线的最后有问题，当我想把模型保存为.pb格式......
Tensorflow Keras在训练和验证中使用不同数量的类别。
我正在使用Keras内置的Resnet（添加到一个序列中）和数据生成器构建一个图像分类器。图像被存储在单独的文件夹中，文件夹作为类。...
在顺序模型中，将整数CSV数据送入Keras Dense第一层。
在CSV数据集的文档中，并没有展示如何使用CSV数据集来做任何实际的事情，比如使用数据来训练神经网络。有谁能提供一个直接的例子来......
tfds split在python 3和tensorflow 2中抛出AssertionError。
当我把运行时切换到python 2时，下面这段代码可以正常运行，但在python 3中却出现了错误。test, train = tfds.Split.TRAIN.subsplit([1, 8]) train_set_raw = tfds.load("tf_flowers", split=...)