如果根据年/月/日进行分区,则在两个日期范围之间下推谓词

问题描述 投票:0回答:0

我正在尝试查询分区为年/月/日的 Glue 目录中的记录,这是我的代码:

query = f"""(year BETWEEN '{start.year}' AND '{end.year}') AND (month BETWEEN '{start.month}' AND '{end.month}') AND (day BETWEEN '{start.day}' AND '{end.day}')"""
df = glueContext.create_dynamic_frame_from_catalog( \
    database=database, \
    table_name = "some_glue_catalog_table", \
    push_down_predicate = query) \
    .toDF()

我发现以 SQL 样式分别代表年/月/日选择数据(或谓词)具有挑战性。如果我选择上述方法,它不会涵盖所有的日子,有时甚至几个月。有人可以进一步指导我如何适当地传递下推谓词吗?

谢谢。

sql pyspark etl aws-glue predicate
© www.soinside.com 2019 - 2024. All rights reserved.