Spark Structured Streaming Window（）函数 - GeneratedIterator增长超过64 KB

Question

我正在使用Spark Structured Streaming方法运行以下Sliding Window SQL查询。

"SELECT  WINDOW(record_time, \"120 seconds\",\"1 seconds\"), COUNT(*) FROM records GROUP BY  WINDOW(record_time, \"120 seconds\",\"1 seconds\")";

如果我将窗口大小保持为120秒并将滑动间隔保持为1秒，则会出现以下错误：

org.codehaus.janino.JaninoRuntimeException：方法代码“agg_doAggregateWithKeys $（Lorg / apache / spark / sql / catalyst / expressions / GeneratedClass $ GeneratedIterator;）V”类“org.apache.spark.sql.catalyst.expressions.GeneratedClass $ GeneratedIterator“超过64 KB

对于Window（90s，1s）和Window（120s，2s），它的工作正常。

即使我收到此错误，但仍然在控制台上获得了查询的输出。

这个可以吗？我应该忽略这个错误吗？

Answer 1

试着说“窗口”。因此，您的查询应如下所示：

SELECT  window, COUNT(*) FROM records GROUP BY  WINDOW(record_time, "120 seconds","1 seconds");