flink-streaming 相关问题

在 Flink 中连接到多个广播流

我在 Flink 中有一个用户案例，我需要连接到 2 个广播流来执行某个 KeyedProcessFunction 操作。 Flink允许这样做吗？我看不到任何支持多个

Flink 中向下游传递 MapState 安全吗？

假设我们有一个 DataStream，并且可以将 MapState 附加到每个 String 元素，同时将其传递到下游。喜欢： ds.keyBy(s -> s.hashCode() % 10) .process(new KeyedProcessFunci...

如何将flink集群中的作业迁移到另一个任务管理器

我有一个由四个任务管理器（tm）组成的 flink 集群。其他服务在任务管理器上运行。由于带宽、内存或CPU等资源问题，tm偶尔会断开连接...

Flink 作业不断部署或初始化

我基于flink-kubernetes-operator部署我的flink任务。同时，我设置了一个检查点，其中检查点目录是一个挂载的pvc。 StateBackend 使用 RocksDB 并配置为

从保存点恢复 Flink 作业时出现 NoSuchMethodError

我使用的 Apache Flink 版本为 1.16.1。当我使用 fromSavepoint 选项部署作业时，出现以下错误； “java.lang.NoSuchMethodError: org.apache.commons.cli.CommandLine.hasOption(Lorg/ap...

flink 检查点间隔设置

我有一个使用RocksDB StateBackend的flink任务，检查点配置是最小间隔3分钟，超时5分钟。 当我测试检查点恢复机制时...

在flink中的每条记录中追加属于同一组的元素数量

虽然有一个文件，其中每行都包含以逗号分隔格式的客户数据 客户 ID、电子邮件 同一客户可以有多个电子邮件，因此同一客户会出现多条线路...

Flink 中的自定义窗口函数

我有一个流媒体用例，我想在 Flink 中实现一个自定义窗口函数，其中窗口启动是基于包含特定值的事件发生的。然后，窗口将编程...

Apace Flink：任务管理器启动失败

我尝试在本地（Win 10 平台）上启动 flink（v1.15.0）作为独立集群，但任务管理器无法启动，导致可用任务槽数为零。 已经关注了...

Flink 检查点因延迟相关错误而停顿和超时

最近，我升级了现有的 Flink 作业（之前运行 Flink 1.15）以针对官方 Flink Kubernetes Operator（针对 Flink 1.18）运行，并开始看到一些奇怪的行为...

Datastream API 中的 Flink Sink Parquet 压缩

我正在使用流数据API来读取镶木地板数据并丰富写入S3文件系统。在 flink 文档中，它说用于压缩表 API 的结果文件 Parquet 格式也支持

Flink 中 AggregateFunction 的 merge() 方法

我想知道 AggregateFunction 上的 merge() 方法何时被调用。根据我从此处和此处的答案中了解到的情况，它仅适用于会话窗口并且发生在每个...

org.bson.BsonInvalidOperationException：预期为 INT64 类型的值是意外的 OBJECT_ID 类型

我尝试制作简单的 Apache Flink MongoDB 连接器代码来读取和写入 MongoDB 中的 json 数据。首先，下面的代码是 MongoDB Sink 代码。 流执行环境环境 =

Flink 强制清理状态描述符的键控状态

我目前正在开发一个使用 flink 的 keyed state 的操作符（sink）。状态后端是基于堆的。状态 ttl 设置为 24 小时。操作员用例是这样的：首先我们捕获请求并存储

Apache Flink 未打印任何新的流数据

我正在对用户的访问日志数据进行实时数据处理。它基本上跟踪用户在办公室的出勤情况。 在 kafka 流中，每当用户刷门时，都会记录 ev...

setGroupId 在 flink 流作业中不起作用

我使用以下命令在笔记本电脑上运行 Flink： ./bin/start-cluster.sh 我正在编写一个简单的 Flink 作业来从一个主题读取数据并为另一个主题生成相同的数据。 公共类第三个工作{ p...

在单元测试中检查 Flink 算子状态

使用 Flink 的测试工具类来测试我的有状态运算符，我想编写单元测试来验证存储在运算符状态中的数据是否是我所期望的。不过，我好像...

当 kafka 主题摄取的日志数量为零时，用于检测异常的 Flink 程序不会给出任何输出

我正在编写一个pyflink程序，用于使用指数加权移动平均值对进入kafka主题的日志数量进行异常检测。话题所在的kafka经纪人是ru...

有没有办法在flink中存储和检索窗口的状态

目前，我们有一个按预期工作的键控 Window flink 作业。事件进入窗口 - 一些处理是在reduce函数中完成的 - 触发器导致输出到接收器。 现在我们有一个sc...

对flink窗口状态感到困惑

我目前对窗口和状态感到困惑。假设我有一个程序，每分钟统计用户访问数据，需要在每个窗口中做sum统计。假设此时我配置...