如何将气流调度程序作为守护程序进程运行？

Question

我是Airflow的新手。我正在尝试将气流调度程序作为守护程序进程运行，但该过程不会持续很长时间。我在airflow.cfg文件中配置了“LocalExecutor”并运行以下命令来启动调度程序。（我正在使用Google计算引擎并通过PuTTY访问服务器）

airflow scheduler --daemon --num_runs=5 --log-file=/root/airflow/logs/scheduler.log

当我运行此命令时，气流调度程序启动，我可以在我的气流主文件夹中看到airflow-scheduler.pid文件，但该过程不能存活很长时间。当我关闭PuTTY会话并重新连接到服务器时，我找不到调度程序进程。我错过了什么吗？如何将气流调度程序作为守护程序进程运行？

Answer 1

您可以使用systemd或upstart，如下所述：

https://github.com/apache/incubator-airflow/tree/master/scripts/systemd https://github.com/apache/incubator-airflow/tree/master/scripts/upstart

以下是指示以防链接在将来中断的情况。

提供的systemd文件在基于RedHat的系统上进行测试。将它们复制（或链接）到/ usr / lib / systemd / system并将airflow.conf复制到/etc/tmpfiles.d/或/usr/lib/tmpfiles.d/。复制airflow.conf确保使用正确的所有者和权限创建/ run / airflow（0755气流气流）

然后，您可以使用systemctl start启动不同的服务器。启用服务可以通过发布来完成

systemctl enable [service]

默认情况下，环境配置指向/ etc / sysconfig / airflow。您可以复制此目录中的“气流”文件并根据自己的喜好进行调整。确保指定SCHEDULER_RUNS变量。

通过一些细微的更改，它们可能适用于其他系统系统。

您可以修改以下配置文件以反映您的环境

/ etc / sysconfig / airflow文件的内容

# This file is the environment file for Airflow. Put this file in /etc/sysconfig/airflow per default
# configuration of the systemd unit files.
#
# AIRFLOW_CONFIG=
# AIRFLOW_HOME=
#
# required setting, 0 sets it to unlimited. Scheduler will get restart after every X runs
SCHEDULER_RUNS=5

/etc/tmpfiles.d/airflow.conf或/usr/lib/tmpfiles.d/airflow.conf文件的内容

D /run/airflow 0755 airflow airflow

/usr/lib/systemd/system/airflow-scheduler.service的内容

[Unit]
Description=Airflow scheduler daemon
After=network.target postgresql.service mysql.service redis.service rabbitmq-server.service
Wants=postgresql.service mysql.service redis.service rabbitmq-server.service

[Service]
EnvironmentFile=/etc/sysconfig/airflow
User=airflow
Group=airflow
Type=simple
ExecStart=/bin/airflow scheduler -n ${SCHEDULER_RUNS}
KillMode=process
Restart=always
RestartSec=5s

[Install]
WantedBy=multi-user.target

Answer 2

--num-runs=5将使调度程序运行任务实例5次。您可以删除该参数以使调度程序长时间运行。

理想情况下，您应该在主管下运行该调度程序，因此当进程崩溃/停止时，它将重新运行。

Answer 3

我遇到了类似的问题。当我将调度程序作为守护程序执行时，我的气流调度程序没有继续作为守护程序进程运行：

airflow scheduler -D

但调度程序在我正常运行时确实有效。删除airflow-scheduler.err文件并重新运行调度程序作为deamon进程后，它开始工作：

rm airflow-scheduler.err
airflow scheduler -D