在 MinIO 文件上传时触发 Airflow DAG

Question

我想在将特定文件上传到 MinIO 中的特定存储桶时触发 Apache Airflow DAG。 我一直在研究 MinIO webhooks 认为这可能是一个解决方案，但我还没有完全弄清楚。

我目前在本地工作，我有一个运行 MinIO 的 Docker 容器，还有一个运行 Airflow 的容器。

如果您知道如何进行此操作，我将非常感谢您的帮助，越详细越好！

谢谢你！

Answer 1

Airflow 本身没有基于事件的触发器。 您应该使用外部服务来触发 Airflow API 或仅使用传感器。根据您的情况，您可以使用

S3KeySensor

S3KeySensor(
    task_id='s3_file_check',
    poke_interval=60,
    timeout=180,
    soft_fail=False,
    bucket_key=s3_locat,
    bucket_name=s3_buckname,
    aws_conn_id='customer_demo',
    dag=dg
)