Python Dagster - 如何使用增量刷新编写分区作业的计划?

问题描述 投票:0回答:0

我正在尝试使用 Dagster 来控制数据仓库项目的 ETL 流程,但是......我已经通读了文档并搜索了答案。看来调度程序无法支持增量刷新。比如这个案例:

  1. 我需要调度程序运行每天一次
  2. 调度程序运行的作业包含按月分区
  3. 的资产
  4. 我需要调度程序刷新最近两个月的数据
  • 我尝试过
    build_schedule_from_partitioned_job
    功能 - 它每月自动运行一次作业,因为资产按月分区。
  • 我尝试过使用
    ScheduleDefinition
    - 它只是不起作用并返回错误。

请。有什么解决办法吗?

python cron etl data-warehouse dagster
© www.soinside.com 2019 - 2024. All rights reserved.