flink-streaming 相关问题

Apache Flink是一个用于可扩展批处理和流数据处理的开源平台。 Flink在一个系统中支持批量和流分析。分析程序可以用Java和Scala中简洁优雅的API编写。

如何在处理键控窗口后立即清除状态?

我的应用程序使用一个由时间戳函数键入的键控窗口。这意味着一旦特定窗口被触发并处理,就没有用来保持该键处于活动状态,因为......

回答 1 投票 0

Flink:将事件附加到有限DataStream的末尾

假设有一个有限的DataStream(例如来自数据库源),其中包含事件a1,a2,...,an。如何将另外一个事件b附加到此流以获取a1,a2,...,an,b(即输出...

回答 2 投票 0

Apache flink乐谱

我一直在研究flink。我对flink中的内存管理有疑问。如何在flink中管理内存。在flink中是否有类似“火花中的块”的类似功能?请让 ...

回答 1 投票 0

Flink如何将DAG节点分配给不同的任务槽?

阅读Flink教程示例,我想知道Flink如何将DAG节点分配给Flink集群中的不同任务槽。任何指针都将非常感激。 val windowCounts = text ...

回答 1 投票 0

Flink如何处理IterativeStream中的检查点和状态?

我可以在文档中看到:Flink目前只为没有迭代的作业提供处理保证。在迭代作业上启用检查点会导致异常。为了 ...

回答 1 投票 0

自定义FileInputFormat始终将一个filesplit分配给一个插槽

我一直在为我们的s3桶编写protobuf记录。我想用flink数据集api从中读取。所以我实现了一个自定义的FileInputFormat来实现这一点。代码如下。上市 ...

回答 1 投票 0

状态到期时Flink触发

我有一个有趣的用例,我想用Flink测试。我有一个传入的消息流,通过PASS或FAIL。现在,如果消息是FAIL类型,我有一个下游......

回答 1 投票 0

在Flink中的聚合原语中具有等效于HOP_START的功能

我试图在Flink SQL的跳跃窗口上做一个指数衰减的移动平均值。我需要访问窗口的一个边框,HOP_START如下:SELECT ...

回答 1 投票 0

使用Flink在过去10分钟内处理kafka消息?

我们正在考虑在过去5到10分钟内使用Flink SQL对实时kafka数据进行临时分析。为了实现这一点,我们似乎需要扩展Kafka连接器才能让它只读...

回答 1 投票 0

timeWindow没有考虑事件时间

我正在尝试使用Flink进行从CSV文件加载的(已排序)时间戳事件的基本聚合。我告诉Flink使用事件时间:env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime)然后......

回答 1 投票 0

如何初始化Flink广播状态?

我们正在尝试构建一个用例,其中来自流的数据通过计算公式运行,但公式本身也应该(很少)可更新。从阅读文档,似乎......

回答 1 投票 0

Flink Streaming:TriggerResult.FIRE和TriggerResult.FIRE_AND_PURGE之间的差异

我是Flink的新手。我有一个Flink流媒体程序,在10秒会话窗口中计算kafka的内容。这是我的问题:会话窗口默认触发器是FIRE。请Flink流媒体......

回答 1 投票 1

Flink计时器未按时执行

这是一个后续问题:状态到期时触发我正在存储流中每个传入元素的状态,并且在定时器关闭后,我删除状态。这是我可以阻止...

回答 1 投票 0

Apache Flink:如何将自定义逻辑应用于延迟事件?

尽管Flink有一些内置的工具来处理迟到的数据,比如允许迟到,但我想自己处理后期数据。例如,我想监视迟到的事件或只是将它们保存到...

回答 2 投票 1

铲斗水槽是否有可能在活动时间创建桶?

该文件称Bucketer将根据当前系统时间分配给桶。我想知道如果我可以根据事件时间分配存储桶?

回答 1 投票 0

Flink Kinesis Consumer不存储最后成功处理的序列号

我们正在使用Flink Kinesis Consumer将Kinesis流中的数据用于我们的Flink应用程序。 KCL库使用DynamoDB表来存储上次成功处理的Kinesis流序列号。 ...

回答 1 投票 1

轮询Flink运算符中的外部数据源

我有一个无键的FilterFunction,它保留了一组应该过滤的项目。我需要定期从外部HTTP API更新此集。当项目进来时,我们检查它们是否在列表中......

回答 1 投票 0

如果出现运行时异常,如何从Apache Flink中的函数手动重放元组?

在风暴中,我们执行collector.fail(tuple)来重放元组。 Flink的类似方法是什么?

回答 1 投票 0

apache flink事件时间处理窗口进程函数没有被调用

窗口化正在进行无限循环或其他事情,我正在处理后打印数据流,但看起来它根本没有达到这一点。下面是我的伪代码。 Datastream env = ...

回答 1 投票 0

Flink - 在时间限制内处理连续事件

我有一个用例,我想我需要一些帮助来解决它。因为我是流媒体和Flink的新手,所以我会尝试对我想要实现的内容进行描述。对不起,如果我不使用...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.