Tensorflow数据集api

Question

我正在使用tf.contrib.data.make_csv_dataset(csv_path)阅读CSV文件，CSV有2列，即评论和评级。我想在阅读后在审核列上执行标记化操作。

 dataset = tf.contrib.data.make_csv_dataset(csv_file, batch_size=2)

创建数据集后，我希望我的地图下面的方法数据集为审核列：

def create_tokens(sentence):
    return tf.string_split([sentence).values

我被困在这里。

Answer 1

使用此示例数据：

review, rating
Best film ever, 5
rather meh, 2

您应该能够在tensorflow 1.10中使用tf.data.map（），如here和here中所述：

def create_tokens(sentence):
    return tf.string_split(sentence['review'])

dataset = tf.contrib.data.make_csv_dataset('test.csv', batch_size=2)
dataset = dataset.map(create_tokens)