流分析和流位置

问题描述 投票:0回答:1

我对Stream Analytics行为有两个一般性问题。我在关于我的问题的文档中找不到任何内容或(对我而言)误导性信息。

我的两个问题都是针对使用EventHub作为输入源的Stream Analytics。

1.溪流位置

分析作业启动时,是否只处理启动后传入的事件?是否忽略了仍在事件中心管道中的旧事件?

2.长跨度时间窗口

在文档中写

“窗口的输出将是基于使用的聚合函数的单个事件,时间戳等于窗口结束时间。”

如果我创建了一个带有例如7天翻滚窗口的select语句。在关闭窗口并发送结果集之前,作业在内存中可以容纳多少输出元素是否有任何限制?我的意思是在我的繁重工作负载eventhub上,可以产生数百万的输出结果。

azure-stream-analytics
1个回答
1
投票

对于您的第一个问题,没有任何证据表明Stream Analytics将忽略在作业启动之前发生的任何旧事件。实际上,事件生命周期取决于事件中心消息保留(1~7天),而不是流分析。但是,您可以为输入指定eventStartTimeeventEndTime以根据需要检索这些数据,请参阅Stream Analytics Input的第一个REST请求属性。

enter image description here

在Azure门户上,它们如下所示。

enter image description here

对于第二个问题,根据Stream Analytics的Azure限制和配额以及Windowing的参考,没有为内存使用编写任何限制,唯一的限制如下。

  1. 对于窗口,“所有情况下窗口的最大尺寸为7天。”
  2. 对于Stream Analytis,“流媒体单元的最大吞吐量”为1MB / s。
  3. 对于事件中心,如下所示。 enter image description here

以上这些将导致输出延迟。

© www.soinside.com 2019 - 2024. All rights reserved.