我一直在尝试使用pip安装命令在我的机器上安装apache airflow。我在虚拟环境中成功安装了airflow。当我尝试运行“airf...
Airflow 有什么方法可以直接从 s3 中选取我的 DAG 文件吗？
Airflow 只能从“/dags”文件夹或特定的 Github 存储库中选取 DAG。 我们还有其他方法可以让 Airflow 从中选择 DAG 吗？
我们可以将 s3 位置传递到 Dag 文件夹到 Ec2 实例 Apache Airflow 吗
如何将 S3 位置传递到文件airflow.cfg 中的 dag 文件夹中。 目前我的airflow.cfg 看起来像：- dags_folder = /home/airflow/airflow/dags 我想使用 s3 位置的 dags。我该怎么办...
尝试通过websocket和client-go与k8s容器交互
当我尝试与k8s容器交互时，我发现我无法获取容器结果，而是获取我输入的内容。哪里有问题？ func ExecCommandInPod(ctx context.Context, conn *websocket2.
它恰好发生在我今天添加到集群中的 almalinux 9.0 服务器上。 k8s 版本是 1.19.16 名称 CPU（核心数） CPU% 内存（字节） 内存% k8s-dev-node1 110m 11% ...
我是 k8s 和 helm 的新手。我正在部署一个名为 zeebe 的开源分布式软件，它为 k8s 部署提供 helm 图表。我发现即使在执行 helm uninstall comm之后...
我已经使用 kubeadm 部署了 k8s 集群，我想使用以下命令获取控制器管理器的指标： 卷曲-k https://localhost:10257/metrics 但出现以下错误： { “亲切”...
我有一个运行良好的 Airflow DAG，这些是任务 T1 = 删除 GCS 中的所有文件 T2 = 运行 SQL 查询 1 并输出到 BigQuery 中的表 T3 = 运行 SQL 查询 2 并输出到表...
我对 Airflow 和 python 还很陌生，正在寻求一些帮助。 我有一个运行良好的 Airflow DAG，这些是任务： T1 = 删除 GCS 中的所有文件 T2 = 运行 SQL 查询 1 并输出到
如何模拟xcom来测试airflow python可调用任务？
Airflow 具有内置的 dag 和任务测试支持，但不足以以并非所有任务都需要执行的方式测试任务。 目标是测试 python 可调用对象。可以通过
在 Spring Boot 应用程序中获取 k8s 命名空间？
我在k8s集群中部署了一个spring boot应用程序（一组服务）。对于微米指标，我需要动态获取此应用程序运行的命名空间，以便我可以将其添加为我的标签...
azure aks 将 k8 集群中运行的 mongodb 备份到本地文件或 azure 存储
问题陈述 我们想要备份在 azure 中的 k8s 集群中运行的 mongodb，并将其导出到在不同 k8s 集群中运行的其他 mongodb 中。 有没有人提供与此相关的指针
合并两个pandas DataFrame，结果在Airflow中为空（本地有效）
我有 2 个 dags，每个 dags 都会向 Airflow 中的 Xcom 发送一个 json。 最后一个 dag 将每个 json 将其转换为 pandas df 并合并它。 由于某种原因，它不起作用，我正在努力保持冷静。 #雪...
如何使用BigQueryToPostgresOperator
我是在 GCP 上使用 apache-airflow 的新手，我正在尝试在 Dataproc 无服务器内的 DAG 上使用 BigQueryToPostgresOperator 将表从 Bigquery 发送到 Cloud SQL，特别是发送到
从 jupyterhub 连接 jupyter 企业网关时连接超时
我在 k8s 1.25 上使用 Jupyterhub 3.2.1 jupyter enterprise gateway 3.2.1，同时连接到 JEG 以列出和 spwan 远程内核，我收到以下错误。 Z [I 2024-01-10 13:17:31.189 ServerApp] 20...
Airflow BashOperator OSError：[Errno 2]没有这样的文件或目录
我不断从当前正在回填的预定 BashOperator 中收到相同的错误（“落后”了一个多月）。 [2018-06-10 22:06:33,558] {base_task_runner.py:115} 信息 - 运行：['bash...
为什么node用flannel加入kubernetes集群时没有创建CNI0网桥？
使用 flannel 作为 CNI 插件在 Centos 7 上设置新的 k8s 集群。将工作程序加入集群时，不会创建 CNI0 网桥。 环境是kubernetes 13.2.1，Docker-CE 18.09，F...
我想使用本地域 auth.ticketing.dev 使我的身份验证服务可以访问在“development”命名空间中运行的 Next.js Web 客户端。该服务当前正在 '
K8s 上的 Postgres：mkdir：无法创建目录“/bitnami/postgresql/data”：初始化 PostgreSQL 数据库时权限被拒绝
我正在使用 zammad helm 在我的 Kubernetes 集群（裸机）上启动 zammad。它使用 bitnami postgreSql 图表来配置 Postgres 数据库。 问题是每当我用 --set
气流新手： 我需要从我的应用程序 dag 运行笔记本代码，该代码目前计划在美国地区太平洋标准时间凌晨 5 点运行。但我想扩展到更多的国家和笔记本代码......
在 BigQuery 中加载 JSON / 从位置 ... 开始的行中出现 JSON 解析错误：解析器在字符串结尾之前终止
我正在尝试使用 Airflow GoogleCloudStorageToBigQueryOperator 在 BigQuery 中加载 350MB JSON 文件。 作业总是停在某个位置 N （N 永远不会改变），并出现以下错误： 读取时出错...