远程气流Dags

问题描述 投票:1回答:3

我计划在云存储上部署气流dags,并提供与GCS的连接,并从运行在Google Compute Engine实例上的Airflow访问这些dag。

从文档中可以清楚地看到远程日志记录是可行的。

我想在GCS上完全保留Airflow的存储(Logs and Dags)部分,因为我必须管理这些文件以避免在部署后修改VM上的文件。

此外,随着日志的增加,它开始占用云VM磁盘上的大量空间。

是否可以在GCS上存储dags。如果是这样,我怎样才能做到这一点。

提前致谢。

google-cloud-platform google-cloud-storage airflow
3个回答
1
投票

我迟到了,但你可以将一个存储桶作为文件系统安装到你的VM(或任何Linux系统)。

与实际文件系统相比,我的体验可能有点慢,但如果我理解正确,这应该对你有用。

有关此工作的详细信息,请参阅documentation


0
投票

Google Cloud Platform似乎与气流广泛集成,用于数据处理和存储。

有一篇官方的Google Cloud Blog documentation文章解释了如何将Airflow与BigQuery连接起来。此外,在official Airflow documentation中还有一个用于Google Cloud Platform集成的附加部分,可以解释完整集成的其他详细信息。

总而言之,BigQuery似乎是适合您的产品,它是一个专门的Google工具,可管理大量数据库,并使其易于使用外部工具和其他谷歌产品(如虚拟机)进行操作和操作。


0
投票

在GCS中实现保存DAG的一种方法是将它们作为JSON存储在存储桶中。像这样,您可以避免将文件存储在VM中。

显示如何执行此操作的示例是此其他Stackoverflow post

© www.soinside.com 2019 - 2024. All rights reserved.