DataFlow jb由于HttpNotFoundError而失败

问题描述 投票:0回答:1

我们的Cloud DataFlow作业从BigQuery读取,进行一些预处理,然后写回到BigQuery。不幸的是,它在几个小时后从BigQuery中读取并显示以下错误消息后失败:

加注exceptions.HttpError.FromResponse(响应)apitools.base.py.exceptions.HttpNotFoundError:HttpError访问:响应:,内容没有这样的对象:--project-/ beam / temp--job-name --- 191119-084402.1574153042.687677 / 11710707918635668555 / 000000000009.avro>

在发生此错误之前,日志显示很多与这些相似的条目:

enter image description here

有人知道什么可能导致DataFlow作业失败吗?对一小部分数据运行此作业时,完全没有问题。

google-cloud-platform google-bigquery google-cloud-dataflow
1个回答
-1
投票

这看起来像是Google的云支持案例。它们可以帮助更有效地调试。

© www.soinside.com 2019 - 2024. All rights reserved.