如何配置dataflow Pipeline以使用共享VPC？

Question

我知道我们有配置参数，您可以指定网络和子网，我尝试这样做，但使用共享VPC网络，它给了我这个错误。

Answer 1

Cloud Dataflow中子网的使用需要在运行管道时指定子网参数;但是，如果子网位于共享VPC网络中，则需要使用基于以下格式的完整URL：

https://www.googleapis.com/compute/v1/projects/<HOST_PROJECT>/regions/<REGION>/subnetworks/<SUBNETWORK>

此外，验证您是否将项目的Dataflow服务帐户添加到共享VPC的项目IAM表中，并为其授予“计算网络用户”角色权限，以确保该服务具有所需的访问范围。

您可以查看Subnetwork parameter官方Google的文档，其中包含有关此事项的详细信息。

Answer 2

请务必在--subnetwork选项中包含项目ID：

/projects/<PROJECT_ID>/regions/<REGION>/subnetworks/<SUBNETWORK>

并在主机项目中向Dataflow Service account提供Network User role，这是我怀疑根据错误消息进行的操作。