我正在尝试查询分区为年/月/日的 Glue 目录中的记录,这是我的代码:
query = f"""(year BETWEEN '{start.year}' AND '{end.year}') AND (month BETWEEN '{start.month}' AND '{end.month}') AND (day BETWEEN '{start.day}' AND '{end.day}')"""
df = glueContext.create_dynamic_frame_from_catalog( \
database=database, \
table_name = "some_glue_catalog_table", \
push_down_predicate = query) \
.toDF()
我发现以 SQL 样式分别代表年/月/日选择数据(或谓词)具有挑战性。如果我选择上述方法,它不会涵盖所有的日子,有时甚至几个月。有人可以进一步指导我如何适当地传递下推谓词吗?
谢谢。