Apache Beam是否需要Internet才能运行GCP Dataflow作业

Question

我正在尝试在可以访问GCP资源但不能访问Internet的GCP VM上部署数据流作业。当我尝试运行作业时，出现连接超时错误，如果我尝试连接到Internet，这将是有意义的。代码中断，因为正在尝试代表apache-beam建立http连接。

Python设置：在切断虚拟机之前，我使用pip和requirements.txt安装了所有必需的软件包。这似乎可行，因为代码的其他部分工作正常。

以下是我运行代码时收到的错误消息。

Retrying (Retry(total=0, connect=None, read=None, redirect=None, status=None)) 
after connection broken by 'ConnectTimeoutError(
<pip._vendor.urllib3.connection.VerifiedHTTPSConnection object at foo>, 
'Connection to pypi.org timed out. (connect timeout=15)')': /simple/apache-beam/

Could not find a version that satisfies the requirement apache-beam==2.9.0 (from versions: )

No matching distribution found for apache-beam==2.9.0

如果您正在运行python作业，我是否需要连接到pypi？周围有骇客吗？

Answer 1

您可以在启用了私有IP的情况下使用Google Cloud Composer。确保您转到GKE群集并创建一个新的节点池名称“ default-pool”。在广告网络代码中：添加“私人”安全性方面：选中允许访问所有云API。