Apache Beam当天的窗口

Question

我想在一天的时间范围内使用Windows功能在apache Beam上提取数据。我使用python并使用FixedWindow捕获数据。

而且我在数据一致性方面存在问题，因为该代码在计数持续时间时间戳记下正常工作，

beam.WindowInto(window.FixedWindows(1440*60)) # minute of whole day * second

因此，如果我在6月3日3:00 PM开始光束管道，它将在6月4日3:00 PM结束。

我想要类似的东西，如果我必须在6月3日3:00 PM启动管道，当时间到6月4日0:00 AM时，Windows功能应开始新的捕获，在6月3日11:59:59 PM之后

所以有人有主意吗？或Windows函数不支持这种工作。

Answer 1

这些窗口不是基于管道的开始时间，而是基于Unix时代。

在您的情况下，如果您希望窗口对齐天数，则可以使用CalendarWindows。您只需要指定测量天数的时区即可。