我是Airflow的新手。我有一些使用Talend Open Studio for Big Data生成的.jar工作,我想安排和管理Airflow我的问题是,Airflow支持.jar文件还是由TOS生成DAG?如果它如何?或者在Airlow上运行.jar还有其他选择吗?
在使用Airflow v1.10.3时,作业主要是从mongodb数据库中提取和处理数据,然后使用新处理的数据更新数据库。
谢谢 !
Airflow将愉快地运行.jar
文件。有几个例子可供您查看。
运行标准的.jar
文件:run_jar.py
运行“构建”Talend工作qazxsw poi
显然,对于这两个例子,loan_application_data.py或Talend文件都需要在服务器上执行Airflow(以及Java)。
Airflow确实支持运行jar文件。你通过.jar
做到这一点。
快速举例:
BashOperator