TensorBoard - 在同一图表上绘制培训和验证损失？

Question

有没有办法在同一图表上绘制训练损失和验证损失？

很容易为每个单独的标记提供两个单独的标量摘要，但这会将它们放在单独的图形上。如果两者都显示在同一图表中，则更容易看出它们之间的差距以及它们是否因过度拟合而开始出现分歧。

有没有内置的方法来做到这一点？如果没有，一个解决方法？非常感谢！

Answer 1

我一直在做的解决方法是分别使用两个带有不同日志目录的SummaryWriter进行训练集和交叉验证集。你会看到这样的事情：

Answer 2

您可以将验证和训练损失之间的差异绘制为自己的标量汇总来跟踪分歧，而不是分别显示两条线。

这不会在单个图上提供尽可能多的信息（与添加两个摘要相比），但它有助于比较多个运行（并且不会在每次运行时添加多个摘要）。

Answer 3

为了完整性，由于张力量为1.5.0，现在可以实现。

您可以使用自定义标量插件。为此，您需要首先进行张量板布局配置并将其写入事件文件。从tensorboard示例：

import tensorflow as tf
from tensorboard import summary
from tensorboard.plugins.custom_scalar import layout_pb2

# The layout has to be specified and written only once, not at every step

layout_summary = summary.custom_scalar_pb(layout_pb2.Layout(
  category=[
    layout_pb2.Category(
      title='losses',
      chart=[
          layout_pb2.Chart(
              title='losses',
              multiline=layout_pb2.MultilineChartContent(
                tag=[r'loss.*'],
              )),
          layout_pb2.Chart(
              title='baz',
              margin=layout_pb2.MarginChartContent(
                series=[
                  layout_pb2.MarginChartContent.Series(
                    value='loss/baz/scalar_summary',
                    lower='baz_lower/baz/scalar_summary',
                    upper='baz_upper/baz/scalar_summary'),
                ],
              )), 
      ]),
    layout_pb2.Category(
      title='trig functions',
      chart=[
          layout_pb2.Chart(
              title='wave trig functions',
              multiline=layout_pb2.MultilineChartContent(
                tag=[r'trigFunctions/cosine', r'trigFunctions/sine'],
              )),
          # The range of tangent is different. Let's give it its own chart.
          layout_pb2.Chart(
              title='tan',
              multiline=layout_pb2.MultilineChartContent(
                tag=[r'trigFunctions/tangent'],
              )),
      ],
      # This category we care less about. Let's make it initially closed.
      closed=True),
  ]))

writer = tf.summary.FileWriter(".")
writer.add_summary(layout_summary)
# ...
# Add any summary data you want to the file
# ...
writer.close()

Category是Charts的一组。每个Chart对应于单个图表，其中显示了几个标量。 Chart可以绘制简单的标量（MultilineChartContent）或填充区域（MarginChartContent，例如，当您想绘制某些值的偏差时）。 tag的MultilineChartContent成员必须是正则表的列表，其匹配您想要在图表中分组的标量的tags。有关更多详细信息，请检查https://github.com/tensorflow/tensorboard/blob/master/tensorboard/plugins/custom_scalar/layout.proto中对象的proto定义。请注意，如果您有几个FileWriters写入同一目录，则只需要在其中一个文件中编写布局。将它写入单独的文件也有效。

要在TensorBoard中查看数据，您需要打开“自定义标量”选项卡。以下是https://user-images.githubusercontent.com/4221553/32865784-840edf52-ca19-11e7-88bc-1806b1243e0d.png的例子

Answer 4

非常感谢niko对Custom Scalars的提示。

我对官方的custom_scalar_demo.py感到困惑，因为有太多的事情发生了，在我弄清楚它是如何工作之前我必须研究它一段时间。

为了准确显示为现有模型创建自定义标量图需要做些什么，我将以下完整示例放在一起：

# + <
# We need these to make a custom protocol buffer to display custom scalars.
# See https://developers.google.com/protocol-buffers/
from tensorboard.plugins.custom_scalar import layout_pb2
from tensorboard.summary.v1 import custom_scalar_pb
#   > 
import tensorflow as tf
from time import time
import re

# Initial values
(x0, y0) = (-1, 1)

# This is useful only when re-running code (e.g. Jupyter).
tf.reset_default_graph()  

# Set up variables.
x = tf.Variable(x0, name="X", dtype=tf.float64)
y = tf.Variable(y0, name="Y", dtype=tf.float64)

# Define loss function and give it a name.
loss = tf.square(x - 3*y) + tf.square(x+y)
loss = tf.identity(loss, name='my_loss')

# Define the op for performing gradient descent.
minimize_step_op = tf.train.GradientDescentOptimizer(0.092).minimize(loss)

# List quantities to summarize in a dictionary 
# with (key, value) = (name, Tensor).
to_summarize = dict(
    X = x,
    Y_plus_2 = y + 2,
)

# Build scalar summaries corresponding to to_summarize.
# This should be done in a separate name scope to avoid name collisions
# between summaries and their respective tensors. The name scope also
# gives a title to a group of scalars in TensorBoard.
with tf.name_scope('scalar_summaries'):
    my_var_summary_op = tf.summary.merge(
        [tf.summary.scalar(name, var) 
            for name, var in to_summarize.items()
        ]
    )

# + <
# This constructs the layout for the custom scalar, and specifies
# which scalars to plot.
layout_summary = custom_scalar_pb(
    layout_pb2.Layout(category=[
        layout_pb2.Category(
            title='Custom scalar summary group',
            chart=[
                layout_pb2.Chart(
                    title='Custom scalar summary chart',
                    multiline=layout_pb2.MultilineChartContent(
                        # regex to select only summaries which 
                        # are in "scalar_summaries" name scope:
                        tag=[r'^scalar_summaries\/']
                    )
                )
            ])
    ])
)
#   >

# Create session.
with tf.Session() as sess:

    # Initialize session.
    sess.run(tf.global_variables_initializer())

    # Create writer.
    with tf.summary.FileWriter(f'./logs/session_{int(time())}') as writer:

        # Write the session graph.
        writer.add_graph(sess.graph) # (not necessary for scalars)

# + <
        # Define the layout for creating custom scalars in terms
        # of the scalars.
        writer.add_summary(layout_summary)
#   >

        # Main iteration loop.
        for i in range(50):
            current_summary = sess.run(my_var_summary_op)
            writer.add_summary(current_summary, global_step=i)
            writer.flush()
            sess.run(minimize_step_op)

以上内容包括一个“原始模型”，由三个代码块表示

# + <
        [code to add custom scalars goes here]
#   >

我的“原始模型”有这些标量：

这个图：

我修改过的模型具有相同的标量和图形，以及以下自定义标量：

这个自定义标量图表只是一个结合原始两个标量图表的布局。

不幸的是，结果图很难读，因为两个值都具有相同的颜色。（它们仅通过标记来区分。）然而，这与TensorBoard的每个日志具有一种颜色的惯例一致。

说明

这个想法如下。您有一组要在单个图表中绘制的变量。作为先决条件，TensorBoard应该在“SCALARS”标题下单独绘制每个变量。（这是通过为每个变量创建标量摘要，然后将这些摘要写入日志来实现的。这里没有新内容。）

为了在同一个图表中绘制多个变量，我们告诉TensorBoard将这些摘要中的哪一个组合在一起。然后将指定的摘要合并到“CUSTOM SCALARS”标题下的单个图表中。我们通过在日志开头写一次“布局”来实现这一点。一旦TensorBoard收到布局，它就会在“CUSTOM SCALARS”下自动生成一个组合图表，同时更新普通的“SCALARS”。

假设您的“原始模型”已经将变量（作为标量汇总）发送到TensorBoard，唯一需要的修改是在主迭代循环开始之前注入布局。每个自定义标量图表通过正则表达式选择要绘制的摘要。因此，要将每组变量绘制在一起，将变量的相应摘要放入单独的名称范围中会很有用。（这样你的正则表达式可以简单地选择该名称范围下的所有摘要。）

重要说明：生成变量摘要的op与变量本身不同。例如，如果我有一个变量ns1/my_var，我可以创建一个摘要ns2/summary_op_for_myvar。自定义标量图表布局仅关注摘要操作，而不关心原始变量的名称或范围。

Answer 5

Tensorboard是一个非常好的工具，但由于它的声明性质，很难让它完全按照你的意愿去做。

我建议您检查Losswise（https://losswise.com）绘制和跟踪损失函数作为Tensorboard的替代。使用Losswise，您可以准确指定应该绘制在一起的内容：

import losswise

losswise.set_api_key("project api key")
session = losswise.Session(tag='my_special_lstm', max_iter=10)
loss_graph = session.graph('loss', kind='min')

# train an iteration of your model...
loss_graph.append(x, {'train_loss': train_loss, 'validation_loss': validation_loss})
# keep training model...

session.done()

然后你得到的东西看起来像：

注意如何通过qazxswpoi调用显式地将数据馈送到特定图形，然后将数据显示在项目的仪表板中。

此外，对于上面的示例，Losswise将自动生成一个包含loss_graph.append和min(training_loss)列的表，以便您可以轻松地比较实验中的汇总统计数据。对于比较大量实验的结果非常有用。

Answer 6

下面是一个示例，创建两个共享相同根目录的min(validation_loss)s。创建由两个tf.summary.FileWriters共享的tf.summary.scalar。在每一步，获取tf.summary.FileWriter并更新每个summary。

tf.summary.FileWriter

结果如下：

import os import tqdm import tensorflow as tf def tb_test(): sess = tf.Session() x = tf.placeholder(dtype=tf.float32) summary = tf.summary.scalar('Values', x) merged = tf.summary.merge_all() sess.run(tf.global_variables_initializer()) writer_1 = tf.summary.FileWriter(os.path.join('tb_summary', 'train')) writer_2 = tf.summary.FileWriter(os.path.join('tb_summary', 'eval')) for i in tqdm.tqdm(range(200)): # train summary_1 = sess.run(merged, feed_dict={x: i-10}) writer_1.add_summary(summary_1, i) # eval summary_2 = sess.run(merged, feed_dict={x: i+10}) writer_2.add_summary(summary_2, i) writer_1.close() writer_2.close() if __name__ == '__main__': tb_test()

橙色线显示评估阶段的结果，相应地，蓝线表示训练阶段的数据。

此外，TF团队还有一个非常有用的，您可以参考。

TensorBoard - 在同一图表上绘制培训和验证损失？

问题描述投票：31回答：6

6个回答

说明

最新问题

TensorBoard - 在同一图表上绘制培训和验证损失？

问题描述 投票：31回答：6

6个回答

说明

最新问题

问题描述投票：31回答：6