Horovod和Tensorflow估算器

Question

如何扩展使用Horovod的tf.train.MonitoredTrainingSession示例来代替使用tf.estimator.Estimator？我使用的是Tensorflow 1.4.0。

Here is an example与我目前的代码非常相似。

我想和hyperopt一起使用它，我喜欢我可以轻松地做类似的事情

tf.contrib.learn.learn_runner.run(
      experiment_fn=_create_my_experiment,
      run_config=run_config,
      schedule="train_and_evaluate",
      hparams=hparams)

用不同的超参数训练，hparams。这也为我提供了用于训练和验证集的单独的Tensorboard日志目录 - 我也希望这也适用于Horovod解决方案。我玩了一个tf.train.SingularMonitoredSession(hooks=hooks, config=config)，其中hooks包含tf.train.SummarySaverHook，但我只能使它与训练集合很好地工作。

Answer 1

在Horovod回购中加入了TensorFlow Estimator example。