flink-streaming 相关问题

ClassNotFoundException：org.apache.flink.streaming.connectors.rabbitmq.common.RMQConnectionConfig $ Builder

我正在使用flink 1.9.0和Rabbitmq连接器读取数据，我可以成功编译代码，但是当我运行代码时，出现以下错误：java.lang.NoClassDefFoundError：org / apache / flink / ...

Apache Flink：与网络内存段的直接内存关系

我正在运行Flink 1.8版。主要配置如下：env.java.opts：-Djavax.net.ssl.keyStoreType = JKS -Djavax.net.ssl.trustStoreType = JKS taskmanager.heap.size：12288m taskmanager ....

flink uid。我们真的需要吗？它不使用默认的吗？

我们真的在运算符上使用uid方法吗？如果是的话..您能建议一种更优雅的设置方式（如c＃中的扩展方法），而不是为name和uid传递2倍的字符串吗？ ...

具有键状状态的自定义分区

我有自己的分区技术，可为DataStream元组生成键，这些键的范围等于集群中节点的数量，就像如果我将并行度设置为4一样，则生成的...

FlinkKafkaConsumer中事件时间顺序的保证

TL; DR：目前最能保证Flink中事件的事件时间顺序的最佳解决方案是什么？我将Flink 1.8.0和Kafka 2.2.1一起使用。我需要通过事件时间戳来保证事件的正确顺序。 ...

来自一个AWS子账户的流S3文件，Flink部署在另一个AWS账户的Kubernetes集群上

我有2个AWS账户，账户A和账户B。账户A具有运行的EKS集群和运行的flink集群。要管理IAM角色，我们使用Kube2iam。群集上的所有Pod都有特定的...

具有超过1个并行性的Flink广播状态

让我说出来，我是Flink的初学者，并尝试尽可能多地掌握概念。可以说，我有一个包含10个任务管理器的flink集群。我有一个运行flink的作业。 ...

Flink大尺寸/较小的高级滑动窗口性能

我的用例中，输入是由ID键入的原始事件，我想计算每个ID在过去7天内的事件总数。输出将提前10分钟逻辑上将是...

Flink 1.8.2状态演化引发异常

我正在尝试更改一个具有大约240个变量的case类，其中一些是由我定义的其他pojos示例：Signal（案例类）具有变量PowerPojoFeature，UserFeature。当...

[在Scala中使用Flink的leftOuterJoinLateral时发生NullPointerException异常

我正在尝试遵循文档并创建一个表函数来“展平”某些数据。使用joinLateral进行展平时，Table函数似乎可以正常工作，但是使用...

共享的检查点非常大

我以16个并行度运行flink应用程序。 20分钟后，共享检查点将增加到235MB。我该如何处理。很长一段时间都很大。每个任务管理器都是一个Openshift Pod任务...

不能与scala一起使用leftOuterJoinLateral（表API和SQL）

我正在尝试遵循文档并创建一个表函数来“展平”某些数据。使用joinLateral进行展平时，表函数似乎可以正常工作，但是使用...

我真的需要Flink检查点吗？

我有一个Flink应用程序，它从Kafka中读取一些事件，从MySQL中进行一些数据充实，使用窗口函数缓冲数据并将窗口内部的数据写入HBase。我有...

Flink ValueState“将数据添加到RocksDB时出错”

[当我想要更新值状态（queueState.update（queue））时，捕获此异常：org.apache.flink.util.FlinkRuntimeException：在org.apache.flink.contrib处向RocksDB添加数据时出错。

Flink保持配置状态

我有一个用例来维护Flink中的配置，我真的不知道该如何处理。假设我有一些配置存储在某处，需要它来进行处理。在...

是否可以将消息广播到所有任务管理器中

我想知道如果特定事件从源中读取到所有任务管理器中，flink中是否有办法广播事件（或类似事件）。更具体地说，我正在汇总状态数据...

Flink如何发现每个密钥的所有kafka分区

我在数据流中使用“ keyby”。我希望flink发现每个键的所有kafka分区。我有30个分区和12个任务。我通过用户ID“键入”我的数据。我认为每个任务的flink只是发现特定的...

Apache Flink：如何使用Java Map（或包含DTO的Map）流？]

我正在使用Flink，并且具有动态变化的字段和嵌套字段的JSON字符串流到达我的系统。因此，我无法将此传入的JSON进行模拟并将其转换为静态POJO，并且我有...

是否有Apache Beam方法每10秒处理一次数据，同时继续读取数据？

我已经建立了一个从文件中读取事件，进行求和/计数操作并将结果写入文件的管道。它几乎可以按预期工作。 PCollection 输入= pipeline.apply（...

丢失连接情况下的Flink事件时间处理

Flink在此处提供了一个示例：https://www.ververica.com/blog/stream-processing-introduction-event-time-apache-flink描述了某人在玩游戏，由于失去连接而出现的情况...