我一直在尝试使用pip安装命令在我的机器上安装apache airflow。我在虚拟环境中成功安装了airflow。当我尝试运行“airf...
Airflow 有什么方法可以直接从 s3 中选取我的 DAG 文件吗？
Airflow 只能从“/dags”文件夹或特定的 Github 存储库中选取 DAG。 我们还有其他方法可以让 Airflow 从中选择 DAG 吗？
我们可以将 s3 位置传递到 Dag 文件夹到 Ec2 实例 Apache Airflow 吗
如何将 S3 位置传递到文件airflow.cfg 中的 dag 文件夹中。 目前我的airflow.cfg 看起来像：- dags_folder = /home/airflow/airflow/dags 我想使用 s3 位置的 dags。我该怎么办...
我有一个运行良好的 Airflow DAG，这些是任务 T1 = 删除 GCS 中的所有文件 T2 = 运行 SQL 查询 1 并输出到 BigQuery 中的表 T3 = 运行 SQL 查询 2 并输出到表...
我对 Airflow 和 python 还很陌生，正在寻求一些帮助。 我有一个运行良好的 Airflow DAG，这些是任务： T1 = 删除 GCS 中的所有文件 T2 = 运行 SQL 查询 1 并输出到
如何模拟xcom来测试airflow python可调用任务？
Airflow 具有内置的 dag 和任务测试支持，但不足以以并非所有任务都需要执行的方式测试任务。 目标是测试 python 可调用对象。可以通过
合并两个pandas DataFrame，结果在Airflow中为空（本地有效）
我有 2 个 dags，每个 dags 都会向 Airflow 中的 Xcom 发送一个 json。 最后一个 dag 将每个 json 将其转换为 pandas df 并合并它。 由于某种原因，它不起作用，我正在努力保持冷静。 #雪...
如何使用BigQueryToPostgresOperator
我是在 GCP 上使用 apache-airflow 的新手，我正在尝试在 Dataproc 无服务器内的 DAG 上使用 BigQueryToPostgresOperator 将表从 Bigquery 发送到 Cloud SQL，特别是发送到
Airflow BashOperator OSError：[Errno 2]没有这样的文件或目录
我不断从当前正在回填的预定 BashOperator 中收到相同的错误（“落后”了一个多月）。 [2018-06-10 22:06:33,558] {base_task_runner.py:115} 信息 - 运行：['bash...
气流新手： 我需要从我的应用程序 dag 运行笔记本代码，该代码目前计划在美国地区太平洋标准时间凌晨 5 点运行。但我想扩展到更多的国家和笔记本代码......
在 BigQuery 中加载 JSON / 从位置 ... 开始的行中出现 JSON 解析错误：解析器在字符串结尾之前终止
我正在尝试使用 Airflow GoogleCloudStorageToBigQueryOperator 在 BigQuery 中加载 350MB JSON 文件。 作业总是停在某个位置 N （N 永远不会改变），并出现以下错误： 读取时出错...