如何使用 Google 提供的数据流模板更改默认网络

Question

我正在尝试使用谷歌提供的模板设置数据流作业

PubSub to BigQuery

。但是我在启动时收到此错误：

Message: The resource 'projects/my-project/global/networks/default' was not found

我认为谷歌提供的模板是硬编码的以使用

default

网络。如果我在自动模式下创建

default

网络，错误就会消失。但我们无法在生产中拥有

default

网络。

文档here提到了一个

network

参数。我尝试从 GCP 控制台 UI 中添加一个名为

network

的附加参数，传入我们的自定义网络名称。但我收到此错误：

The template parameters are invalid.

有什么方法可以告诉 Google 提供的数据流模板使用我的自定义网络（在手动模式下创建）而不是

default

？我在这里有什么选择？

感谢所有的帮助！

Answer 1

当前不支持从模板创建的数据流管道。目前，您可以在默认 VPC 网络中运行模板，或者使用 Java 或 Python SDK 提交 Dataflow 管道并指定

network

管道选项。

Answer 2

您可以使用 gcloud beta 命令

gcloud beta dataflow jobs run

，如 gcloud beta 数据流作业运行中所述。 它支持更多参数，例如

[--network=NETWORK]

和

[--subnetwork=SUBNETWORK]

，这对您的用例很有用。

Answer 3

这里提供的问题和解决方案是 5 年前的。它不再被硬编码到默认网络。您可以在控制台和 gcloud CLI 中指定自定义网络和子网。