我正在使用Google Cloud Composer,每当我更改环境变量或气流中的任何设置时,都会触发气流环境的重建。
我以为可以解决包依赖关系(即上传python包)以减少重建延迟。
我问,因为重建可能需要2-15分钟。
有人在减少此构建时间(增加或不增加成本)方面有运气吗?
环境更新在Cloud Composer中通常可能需要5到30分钟,并且目前可以正常工作。请查看此公开issue tracker以获取更多信息。您可以单击+1
以使其对Cloud Composer工程团队更加可见。
[请注意,作曲家需要照顾很多资源,即在Google Kubernetes Engine和App Engine内部署Airflow,这会强制重建容器的图像,更新Airflow Web服务器等。我建议您看一下以下Cloud Composer架构documentation,在其中可以找到每次更改都需要更新的所有组件。
您可以检查您的任何POD是否处于Evicted
状态,这意味着您的节点位于低资源上,因此您应该考虑使用更高资源的计算机,而不是标准的n1-standard-2
。
我希望您发现上述有用的信息。