将Tensorboard嵌入元数据链接到检查点

Question

我在tensorflow上使用tflearn包装器来构建模型，并且希望将元数据（标签）添加到生成的嵌入可视化中。有没有办法在运行它之后将metadata.tsv文件链接到保存的检查点？

我在检查点摘要的logdir中创建了一个projector_config.pbtxt文件，metadata.tsv位于同一个文件夹中。配置如下所示：

embeddings {
  tensor_name: "Embedding/W"
  metadata_path: "C:/tmp/tflearn_logs/shallow_lstm/"
}

并使用docs中的代码创建 - https://www.tensorflow.org/how_tos/embedding_viz/

我已经注释掉了tf.Session部分，希望创建元数据链接而不需要在Session对象中直接这样做，但我不确定这是否可行。

from tensorflow.contrib.tensorboard.plugins import projector
#with tf.Session() as sess:
config = projector.ProjectorConfig()
# One can add multiple embeddings.
embedding = config.embeddings.add()
embedding.tensor_name = 'Embedding/W'
# Link this tensor to its metadata file (e.g. labels).
embedding.metadata_path = 'C:/tmp/tflearn_logs/shallow_lstm/'
# Saves a config file that TensorBoard will read during startup.
projector.visualize_embeddings(tf.summary.FileWriter('/tmp/tflearn_logs/shallow_lstm/'), config)

下面是当前嵌入可视化的快照。请注意空元数据。有没有办法直接将所需的元文件附加到此嵌入？

Answer 1

我有同样的问题，现在解决了:)

基本上，您需要做的就是遵循3个步骤：

1. 保存模型检查点，假设ckeckpoint的目录是ckp_dir;
2. 在ckp_dir中放置projector_config.pbtxt和metadata.tsv;
3. 运行tensorboard --logdir=ckp_dir并单击“嵌入”选项卡

projector_config.pbtxt的内容是：

    embeddings {
      tensor_name: "embedding_name"
      metadata_path: "metatdata.tsv"
    }

这是将嵌入链接到metadata.tsv的关键。在tf.Session（）中，我们经常得到像sess.run('embedding_name:0')这样的嵌入值。但是在projector_config.pbtxt中，我们只需输入tensor_name: "embedding_name"。

通常，我们可以在projector_config.pbtxt中指定检查点路径和metadata_path，以便我们可以将checkpoint，projector_config.pbtxt和metadata.tsv放在不同的目录中。但我认为这太复杂了。我刚才解决了这个问题。

the result shown here

Answer 2

试试你的projector_config.pbtxt：

embeddings {
  tensor_name: "Embedding/W"
  metadata_path: "$LOGDIR/metadata.tsv"
}

确保你的$LOGDIR与你在终端上用来调用tensorboard --logdir=$LOGDIR的路径相同;也就是说，它应该是相对于您当前的目录（所以它可能不应该包含C:/..）。还包括metadata_path中的文件名。

如果这对您有用，请告诉我。

---

我偶然发现同样的问题试图显示单词而不是word2vec tutorial的索引。要实现这一点，你的projector_config.pbtxt应该是这样的：

embeddings {
  tensor_name: "w_in"
  metadata_path: "$LOGDIR/vocab.txt"
}

您可能还想修改上面链接的代码中的save_vocab函数，因为它将unicode转换为十六进制。

Answer 3

我遇到了同样的问题。 [编辑：]我可以使其工作的方式是创建一个子目录并将所有检查点文件放在那里，使用元数据文件的完整路径。 '技巧'是那么如果你给张量板--logdir那个特定的目录，它会以某种方式解析元数据并在图中显示单词而不仅仅是索引。缺点是当你只使用基本日志目录作为--logdir时，再找不到嵌入，所以你总是必须启动一个单独的tensorboard实例来查看嵌入。

这真的很烦人，我无法想象这是让它发挥作用的唯一方法，但我花了几个小时才终于工作了......