flink-streaming 相关问题

Apache Flink是一个用于可扩展批处理和流数据处理的开源平台。 Flink在一个系统中支持批量和流分析。分析程序可以用Java和Scala中简洁优雅的API编写。

短期 Flink 作业的指标

我正在启动一个作业(自动检测为批处理),该作业读取 csv(3 条记录)并将相同的内容输出到 Kafka。这项工作大约需要 3 秒才能运行,在结束时,我需要满足一些...

回答 1 投票 0

Flink 中 KeyedCoProcessFunction 的 processElement 函数在连接的 keyed 流上的执行顺序

我们正在使用 Java 创建一个 Flink 应用程序,我们从两个不同的 kafka 主题读取两个数据流,并使用 KeyedCoProcessFunction 找出其中一个流中存在的记录,并且

回答 1 投票 0

Flink - 如何将表结果转换为Datastream

我试图查询一个postgresql表,并将其转换为dataStream: StreamExecutionEnvironment bsEnv = StreamExecutionEnvironment.getExecutionEnvironment(); 流表环境 tEnv =

回答 1 投票 0

flink 为 SlidingWindows 存储什么状态?

当我在 SlidingWindow 上使用聚合函数时,flink 在状态中存储什么? 例如,如果我对大小为 1 小时、滑动时间为 5 分钟的滑动窗口进行聚合计数。这是不是意味着……

回答 1 投票 0

flink 中的水印没有增加

所以我尝试使用未加密的 processFunctions 创建自己的窗口方案。我正在使用来源并想使用水印。我目前的水印实现如下

回答 1 投票 0

如何为Flink kubernetes Operator部署CRD添加标签?

我部署了 Flink kubernetes Operator,在为“FlinkDeployment”部署自定义资源时,我需要向部署规范添加一些元数据标签,因为我们的组织承认我们...

回答 2 投票 0

AWS 管理的 apache flink。 “<someuuid>pyflink/bin/pyflink-udf-runner.sh”:错误=13,权限被拒绝“不使用udfs

我正在尝试在AWS-flink中运行一个非常简单的应用程序。 阿帕奇弗林克 1.18 运动连接器 1.18 Python apache flink == 1.18 使用 pom.xml 为 flink-connector-kin 收集 jar 依赖项...

回答 1 投票 0

使用“FOR SYSTEM_TIME AS OF”语句时,外部数据库上的 Sedona Flink SQL 查找失败

我正在编写一个 Flink 应用程序,其目标是利用数据库 (Postgis) 上存在的数据丰富从 Kinesis 源获取的数据。 我在文档中发现 Flin 上的可用功能...

回答 1 投票 0

在 Java 中使用 FlinkKinesisConsumer 时如何提供会话令牌?

我尝试使用用户 A 承担角色 R1,并使用 R1 承担不同帐户中的 R2。我已经创建了一个 StsClient 来获取我不知道的 accessKeyId、secretKeyId 和 sessionToken...

回答 1 投票 0

带有键控窗口流的单个分区上的最新记录

Flink 流式传输管道,具有 1 个 kafka 分区,具有 5 个并行度,具有带 1 分钟滚动窗口的键控事件窗口。我们使用带有默认周期性生成的升序时间戳水印...

回答 1 投票 0

在单个事务中将数据接收到数据库和Kafka/Axon

我是 Flink 新手,有一个用例来使用 Topic1 中的数据并在数据库中插入/更新,并将相同的数据推送到将由不同服务使用的 Topic2。我现在拥有的代码有点......

回答 1 投票 0

Apache Flink 任务的内存复制缓存

我正在处理需要根据库存数据进行转换的流。本质上,库存数据会很大(没有确切的数字),并且会有大量的读取和很少的写入......

回答 1 投票 0

Flink 无法解析 DataStream API 中 Debezium 写入 Kafka 的 Avro schema

似乎没有解决方案可以自动将 Confluence SchemaRegistry 的最新 schema 与 Kafka-topic 中的数据同步。因此,我通过从 Confluence Schema Regi 复制来手动添加架构...

回答 1 投票 0

当源输入耗尽时,Flink 在处理函数上触发注册计时器

我正在使用 Flink 流从多个资源(包括文件)读取输入。我的目标是触发一些 定期计算(处理时间)并在到达文件末尾时触发...

回答 2 投票 0

使用 Flink 从数据库动态获取新记录并发布到 kafka/axon 主题

我是 Flink 新手,有 2 个 Flink 作业的用例,第一个是使用 Topic1 中的数据并在数据库中插入/更新,第二个是获取数据库中插入/更新到由不同服务使用的 Topic2 的任何新数据。 .

回答 1 投票 0

在 Flink 中连接到多个广播流

我在 Flink 中有一个用户案例,我需要连接到 2 个广播流来执行某个 KeyedProcessFunction 操作。 Flink允许这样做吗?我看不到任何支持多个

回答 1 投票 0

Flink 中向下游传递 MapState 安全吗?

假设我们有一个 DataStream,并且可以将 MapState 附加到每个 String 元素,同时将其传递到下游。喜欢: ds.keyBy(s -> s.hashCode() % 10) .process(new KeyedProcessFunci...

回答 1 投票 0

如何将flink集群中的作业迁移到另一个任务管理器

我有一个由四个任务管理器(tm)组成的 flink 集群。其他服务在任务管理器上运行。由于带宽、内存或CPU等资源问题,tm偶尔会断开连接...

回答 1 投票 0

Flink 作业不断部署或初始化

我基于flink-kubernetes-operator部署我的flink任务。同时,我设置了一个检查点,其中检查点目录是一个挂载的pvc。 StateBackend 使用 RocksDB 并配置为

回答 1 投票 0

从保存点恢复 Flink 作业时出现 NoSuchMethodError

我使用的 Apache Flink 版本为 1.16.1。当我使用 fromSavepoint 选项部署作业时,出现以下错误; “java.lang.NoSuchMethodError: org.apache.commons.cli.CommandLine.hasOption(Lorg/ap...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.