Snaplogic 将大量数据写入 BigQuery

Question

我有一个包含管道执行快照的管道。执行快照调用一个管道，该管道使用 postgressql 执行快照从画布读取数据，然后将其写入 bigquery 数据库表。正在写入的数据包含超过 9,600,000 条记录。我正在使用 bigquery write snap。它从 9620091 条记录中写入 9619291 条记录，并完成时出现以下错误。我该如何调试这个？是不是超时了？ : }引发者：com.google.api.client.googleapis.json.GoogleJsonResponseException：503 服务不可用 { “代码”：503， “错误”：[ { “域”：“全球”， "message": "服务不可用，请重试。", “原因”：“后端错误” } ], "message": "服务不可用，请重试。", “状态”：“不可用” } 在 com.google.api.client.googleapis.json.GoogleJsonResponseException.from(GoogleJsonResponseException.java:146) 在 com.google.api.client.googleapis.services.json.AbstractGoogleJsonClientRequest.newExceptionOnError(AbstractGoogleJsonClientRequest.java:118) 在 com.google.api.client.googleapis.services.json.AbstractGoogleJsonClientRequest.newExceptionOnError(AbstractGoogleJsonClientRequest.java:37) 在 com.google.api.client.googleapis.services.AbstractGoogleClientRequest$1.interceptResponse(AbstractGoogleClientRequest.java:428) 在 com.google.api.client.http.HttpRequest.execute(HttpRequest.java:1111) 在 com.google.api.client.googleapis.services.AbstractGoogleClientRequest.executeUnparsed(AbstractGoogleClientRequest.java:514) 在 com.google.api.client.googleapis.services.AbstractGoogleClientRequest.executeUnparsed(AbstractGoogleClientRequest.java:455) 在 com.google.api.client.googleapis.services.AbstractGoogleClientRequest.execute(AbstractGoogleClientRequest.java:565) 在 com.snaplogic.snaps.google.bigquery.Write.executeInsert(Write.java:296) ... 16 更多 原因：503服务不可用 邮政 https://bigquery.googleapis.com/bigquery/v2/projects/project_id-/datasets/dataset/tables/wrk_cd2_le_submission_versions/insertAll { “代码”：503， “错误”：[ {

"domain": "global",
  "message": "Service is unavailable. Please retry.",
  "reason":
"backendError"
}

], "message": "服务不可用，请重试。", “地位”： “不可用” } 解决方案：验证查询和其他属性是否已正确定义。

Answer 1

我有同样的问题，我考虑增加批量大小或增加批量之间的超时时间