如何将令牌化应用于TensorFlow数据集？

Question

我正在使用cnn_dailymail数据集，它是TensorFlow Datasets的一部分。我的目标是在对数据集应用一些文本预处理步骤后标记该数据集。

我按如下方式访问和预处理数据集：

!pip install tensorflow-gpu==2.0.0-alpha0
import tensorflow as tf
import tensorflow_datasets as tfds

data, info = tfds.load('cnn_dailymail', with_info=True)
train_data, test_data = data['train'], data['test']

def map_fn(x, start=tf.constant('<start>'), end=tf.constant('<end>')):
   strings = [start, x['highlights'], end]
   x['highlights'] = tf.strings.join(strings, separator=' ')
   return x

train_data_preproc = train_data.map(map_fn)
elem, = train_data_preproc.take(1)
elem['highlights'].numpy()
# b'<start> mother announced as imedeen ambassador . ...

为了标记数据集，我遇到了tfds.features.text.Tokenizer函数（另请参见here）。但是，这并不符合我想要的方式：

tokenizer = tfds.features.text.Tokenizer(alphanum_only=False, reserved_tokens=['<start>', '<end>'])
tokenizer.tokenize(elem['highlights'].numpy())
# ['<start>', ' ', 'mother', ' ', 'announced', ' ', 'as', ' ', 'imedeen', ' ', 'ambassador', ' . ',...]

我希望令牌生成器仅在空白上分割，而不是将空白视为单独的令牌。有没有办法做到这一点？最好创建我自己的令牌生成器函数，然后使用dataset.map()函数应用它吗？谢谢！

Answer 1

对于点击此链接的读者...

请在Tensorlfow中找到我的要点，这可能有助于令牌化。

链接：https://gist.github.com/Mageswaran1989/70fd26af52ca4afb86e611f84ac83e97#file-text_preprocessing-ipynb

有不同的可用选项：

• Tensorflow数据集API：令牌生成器+ Enoder
  • API：https://www.tensorflow.org/datasets/api_docs/python/tfds/features/text/Tokenizer
  • API：https://www.tensorflow.org/datasets/api_docs/python/tfds/features/text/TextEncoder
  • 主题：https://www.tensorflow.org/tutorials/text/transformer

• Tensorflow Keras文本预处理：多合一的分词器

  • API：https://www.tensorflow.org/api_docs/python/tf/keras/preprocessing/text/Tokenizer?version=stable
  • 教程：https://www.tensorflow.org/tutorials/text/nmt_with_attention

  在我的试用版中，此单词突出显示为单词和字符级标记和编码/解码的简单易用

• Tensorflow文字直接用于TF Dataset API和Keras Layers的更高级用法。
  • https://github.com/tensorflow/text
  • https://www.tensorflow.org/tutorials/tensorflow_text/intro
  • https://blog.tensorflow.org/2019/06/introducing-tftext.html