无法更改 dbt dataproc 无服务器作业的超时值

问题描述 投票:0回答:2

我目前面临在 dbt 中使用 dataproc 无服务器选项提交的问题。我的 dataproc 作业大约需要 30 分钟才能完成,但我的 dbt 运行不断失败,并显示错误消息“操作未在指定的 900 秒超时内完成”。 dbt 运行停止,但 dataproc 无服务器作业继续运行并顺利完成。

我已经浏览过代码: https://github.com/dbt-labs/dbt-bigquery/blob/main/dbt/adapters/bigquery/python_submissions.py#L51 并注意到可以更改超时值。我尝试在我的配置文件、模型配置和 python 模型本身的 dbt.config 对象中定义超时值,但没有成功。我还将 job_execution_timeout_seconds 值更改为 6000,但这也不起作用。

有人对如何在这种情况下覆盖默认超时值有任何想法吗?任何帮助将不胜感激。

谢谢你

google-cloud-dataproc dbt google-cloud-dataproc-serverless dbt-bigquery
2个回答
1
投票

升级到 dbt 1.6.0 后,超时参数正常工作。


0
投票

你能告诉我你最终使用了什么超时参数吗?

© www.soinside.com 2019 - 2024. All rights reserved.