在 GCP Dataflow 上以编程方式部署和运行 Beam 管道

Question

我正在尝试使用 google-cloud-dataflow 以编程方式在 GCP 数据流上部署一些光束管道，但不确定如何做到这一点。

这些管道已经打包为 jar，我的目标是使用 google-cloud-dataflow SDK 来帮助在 GCP 数据流中部署和启动它们。

JobsV1Beta3Client 或 TemplatesServiceClient 中似乎没有任何方法来指定这些 jar 的路径或传入管道选项。

我在这里看到了一些样本，但仍然没有得到它。 https://simplesassim.wordpress.com/2022/07/12/how-to-create-a-job-in-google-dataflow/ https://simplesassim.wordpress.com/2022/07/12/how-to-start-a-job-in-google-dataflow/

这些管道可以在本地执行或通过数据流使用 https://cloud.google.com/dataflow/docs/guides/deploying-a-pipeline#run-on-dataflow但我正在寻找一个利用google-cloud-dataflow sdk的解决方案。

还有 REST api，位于 https://cloud.google.com/dataflow/docs/reference/rest，但 google 建议使用客户端库来实现。

有谁知道如何做到这一点，或者我是否以错误的方式处理这个问题？

Answer 1

正如@毛三王所评论的，要在GCP DataFlow中部署和运行Apache Beam管道，您可以尝试使用

TemplatesServiceClient.launchTemplate

在dataflow中运行管道。

将答案发布为社区 wiki，以造福于将来可能遇到此用例的社区。请随意编辑此答案以获取更多信息。