Google Cloud Dataproc Serverless gcloud ttl 标志无法识别的参数

问题描述 投票:0回答:1

我正在使用运行时版本 2.1 运行 Google Cloud Dataproc Serverless Spark 批处理工作负载
该批次在运行 4 小时后被取消

根据 Google Cloud Dataproc 无服务器指南 https://cloud.google.com/dataproc-serverless/docs/quickstarts/spark-batch#submit_a_spark_batch_workload

--ttl:您可以添加 --ttl 标志来指定批处理生命周期的持续时间。当工作负载超过此持续时间时,它会无条件终止,而不等待正在进行的工作完成。使用 s、m、h 或 d(秒、分钟、小时或天)后缀指定持续时间。最小值为 10 分钟(10m),最大值为 14 天(14d)。
1.1 或 2.0 运行时批处理:如果未为 1.1 或 2.0 运行时批处理工作负载指定 --ttl,则允许工作负载运行直到自然退出(如果不退出则永远运行)。
2.1+ 运行时批处理:如果未为 2.1 或更高版本的运行时批处理工作负载指定 --ttl,则默认为 4h。

我尝试添加 --ttl 标志,但出现错误

ERROR: (gcloud.dataproc.batches.submit.spark) unrecognized arguments: --ttl=6h

示例

gcloud dataproc batches submit spark --version=2.1 --region=us-east4 --subnet=$subnet --service-account=$service_account --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar --class=org.apache.spark.examples.SparkPi --ttl=6h -- 1000

我希望指定批次生命周期的持续时间。

google-cloud-platform gcloud google-cloud-dataproc google-cloud-dataproc-serverless
1个回答
0
投票

回答我自己的问题
在 @John Hanley 评论后(感谢您的提示!),我检查了 gcloud 版本,即 Google Cloud SDK 383.0.1
我尝试在另一个终端中使用 gcloud 版本 Google Cloud SDK 418.0.0 运行该批处理,这次成功了。
我认为 --ttl 标志已在更新的 gcloud 版本中添加。

© www.soinside.com 2019 - 2024. All rights reserved.