AWS Glue CatalogPartitionPredicate:to_date 不起作用

问题描述 投票:0回答:1

我计划在我的一个项目中使用catalogPartitionPredicate。我无法处理其中一种情况。详情如下:

  1. 分区列:年、月、日
  2. catalogPartitionPredicate:年>='2021'且月>='12'

如果年份更改为2022年(2022-01-01)并且我想读取2021-12-01的数据;该表达式将无法处理,因为它不允许读取 2022 年的数据。我尝试连接分区键,但没有成功。

有没有办法实现 to_date 功能或任何其他解决方法来处理这种情况?

amazon-web-services pyspark aws-glue jsqlparser
1个回答
0
投票

不需要月份,只需使用“year>='2021'”。这与您对“日”使用的逻辑相同

© www.soinside.com 2019 - 2024. All rights reserved.