我们可以将 s3 位置传递到 Dag 文件夹到 Ec2 实例 Apache Airflow 吗

问题描述 投票:0回答:1

如何将 S3 位置传递到文件airflow.cfg 中的 dag 文件夹中。

目前我的airflow.cfg 看起来像:-

dags_folder = /home/airflow/airflow/dags

我想使用 s3 位置的 dags。我怎样才能做到这一点?

amazon-s3 amazon-ec2 airflow
1个回答
0
投票

应该可以使用 mountpoint-s3 将 s3 存储桶挂载为 ec2 本地目录。将dags_folder指向挂载目录下的dags文件夹

直接指向s3桶是不支持气流的,参见

© www.soinside.com 2019 - 2024. All rights reserved.