我如何在Linux环境下按小时计划pyspark脚本

Question

我有一个pyspark脚本，我希望该脚本每小时执行一次，这意味着该脚本应在每小时执行一次。我如何每小时执行一次该脚本。

我进行了很多搜索，但一无所获。

Answer 1

您可以使用以下任何一种方法

1. https://developer.ibm.com/hadoop/2017/06/30/scheduling-spark-job-written-pyspark-sparkr-yarn-oozie/
2. https://github.com/pinterest/pinball
3. cron标签
4. http://airflow.apache.org/scheduler.html