如何预构建worker容器Dataflow？ [洞察“SDK Worker容器镜像预构建：可以启用”]

Question

我想知道如何预构建工作容器，同时使用 setup.py 文件来实现多个文件依赖项。

即使当我使用这个官方模板时，我仍然有见解：“SDK工作容器图像预构建：可以启用”。这是一个错误吗？

https://github.com/GoogleCloudPlatform/python-docs-samples/tree/main/dataflow/flex-templates/pipeline_with_dependency

Answer 1

可以通过提供

--prebuild_sdk_container_image

管道选项来完成预构建容器映像，请参阅：https://cloud.google.com/dataflow/docs/guides/build-container-image#pre-build_a_container_image_when_submitting_the_job

但是，当您使用已包含必要依赖项的自定义容器映像时（如您引用的示例中的情况），启用预构建几乎没有价值。您可以通过提供

--sdk_locaiton=container

管道选项来忽略该见解或使其保持沉默。我们将回顾这一见解背后的逻辑。