数据流作业失败且不显示日志

Question

我使用标准模板在 Dataflow 中创建了管道

JDBC to BigQuery

，有一些作业意外失败并且不显示任何日志。

问题是，当作业因资源而失败、作业需要的 vCPU 数量多于该区域可用的 vCPU 或内存不足时，此类错误会显示在日志中，如下所示。

但有些作业只是失败，没有日志，而且资源充足。

有谁知道如何找到这种情况下的日志吗？

Answer 1

更改日志的严重性。如果您选择

Default

，您应该会看到更多日志。对于失败的作业的作业页面是什么样子，我想说您可能还需要查看工作日志。

根据错误的不同，诊断选项卡可能会包含一些有关导致作业失败的错误类型的汇总信息。

Answer 2

Dataflow 控制台中的日志查看器似乎已损坏。但是，您可以通过转到日志控制台来获取错误日志： https://console.cloud.google.com/logs/query;query=resource.type%3D%22dataflow_step%22;