apache airflow 2.0.2 缓慢的 Web UI

Question

我已在新的 EC2 实例 (r5a.xlarge) 4 CPU、32 RAM 和 SSD 磁盘上安装了 apache-airflow 2.0。 Airflow Web 服务器和调度程序运行稳定，但即使执行 0 个 DAG，Web 响应也很慢。 该实例位于弗吉尼亚北部，postgres 数据库 (AURORA RDS) 在那里运行。

由于网络响应速度很慢（加载网页大约需要 5 秒），我尝试将工作人员数量扩展到 7 个，但似乎这样的更改并没有达到预期的效果。

从字面上看，当单击任何链接（即“管理变量”链接）时，浏览器必须等待 5 秒才能收到来自 http://ec2-#-###-###-###.compute-1 的响应.amazonaws.com:8080/变量/列表/

我想听听大家的建议， 所以各位，我有什么遗漏的吗？
是否存在将网络服务器和调度程序拆分到不同实例上的可能性？ 除了调度程序和执行程序之外，这只是 UI 的问题吗？

非常感谢您的任何提示、建议或修复！

Answer 1

1. 尝试检查airflow-webserver日志，验证是否存在频繁的Gunicorn工作超时。
2. Airflow Web 服务器必须通过查询 Airflow 元数据库来加载所有 UI 组件（dags、任务、状态等）。检查 CPU 利用率以及您配置的airlfow-meta 数据库的活动连接数。我遇到了类似的问题，即网络用户界面太慢，单击任何内容都需要花费大量时间来加载。我注意到我用作元数据库的 mysql RDS 实例的 CPU 利用率连续达到 99.8%（我也在其他应用程序中使用相同的 RDS）。升级RDS实例后，问题得到解决。