Apache Flink是一个用于可扩展批处理和流数据处理的开源平台。 Flink在一个系统中支持批量和流分析。分析程序可以用Java和Scala中简洁优雅的API编写。
“类 java.time.LocalDate 无法转换为类 java.lang.Number”，在 Avro 中保存时，逻辑类型为日期，类型为 int
我正在尝试在 parquet 输出中保存 Avro 中存在的具有日期逻辑类型的字段（它在使用 int 作为数据类型保存时有效，但在尝试保存为日期逻辑类型时给出错误...
我的flink sql语句如下 创建或替换表 table_one /** mode('streaming')*/ ( `pk` 字符串， `id` 字符串， `段`数组， `头...
Flink 无法解析 DataStream API 中 Debezium 写入 Kafka 的 Avro schema
似乎没有解决方案可以自动将 Confluence SchemaRegistry 的最新 schema 与 Kafka-topic 中的数据同步。因此，我通过从 Confluence Schema Regi 复制来手动添加架构...
我是 flink 新手，正在阅读 Flink 1.8 源代码（https://github.com/apache/flink/tree/release-1.8）来了解 flink 如何与 YARN 配合使用。 我知道有分离模式和非分离模式...
我正在使用 Flink 流从多个资源（包括文件）读取输入。我的目标是触发一些 定期计算（处理时间）并在到达文件末尾时触发...
如何在 Apache Flink 中连接 RabbitMQ“流”？
有没有办法连接RabbitMQ“流”而不是Apache Flink中的队列？ 谢谢你！ 我能够获取 RabbitMQ 队列作为在 Apache Flink 中工作的源，但如何获取 RabbitMQ s...
TestProcessingTimeService 和 InternalTimeServiceManagerImpl 有什么区别？
使用 ProcessFunctionTestHarnesses 对 Apache Flink 进行单元测试时 KeyedOneInputStreamOperatorTestHarness testHarness = ProcessFunctionTestHarnesses.forKeyedProcessFunctio...
将 Flink SQL Client 连接到 Kubernetes 上的 Flink 集群
我已经使用 Terraform 和 Helm 在 Kubernetes 上设置了 Flink 集群。我使用了 Flink Operator，并且还单独将 Flink SQL Client 下载到我的机器上。 资源“helm_release”...
使用 Flink 从数据库动态获取新记录并发布到 kafka/axon 主题
我是 Flink 新手，有 2 个 Flink 作业的用例，第一个是使用 Topic1 中的数据并在数据库中插入/更新，第二个是获取数据库中插入/更新到由不同服务使用的 Topic2 的任何新数据。 .
我有一个kafka主题，其中包含一些事件类型。（这是给出的） 事件是 JSON 文档。 我们将事件类型称为：A、B、C、D、E。 我可以通过使用每个字段中的字段来判断类型
我在 Flink 中有一个用户案例，我需要连接到 2 个广播流来执行某个 KeyedProcessFunction 操作。 Flink允许这样做吗？我看不到任何支持多个
我有一个 Kafka 主题，其中我每 2-3 秒生成一个条目 然后我有 PyFlink 作业，它将格式化条目并将它们发送到数据库 这是我的 Flink 环境设置 env = StreamExecutionEnvironm...
我正在使用以下方式运行 Flink 应用程序 python -m 应用程序.job job.py 是目录 app 中的一个模块 它运行良好并使用 PyFlink 处理数据。 但是，该作业不会提交到本地集群（Docker）......
假设我们有一个 DataStream，并且可以将 MapState 附加到每个 String 元素，同时将其传递到下游。喜欢： ds.keyBy(s -> s.hashCode() % 10) .process(new KeyedProcessFunci...
我有一个由四个任务管理器（tm）组成的 flink 集群。其他服务在任务管理器上运行。由于带宽、内存或CPU等资源问题，tm偶尔会断开连接...
我基于flink-kubernetes-operator部署我的flink任务。同时，我设置了一个检查点，其中检查点目录是一个挂载的pvc。 StateBackend 使用 RocksDB 并配置为
当前的 Apache Flink Flamegraph 是否允许电子邮件警报？
当前的 Apache Flink UI（截至 2023 年）、Flamegraph 是否允许电子邮件警报？我们正在尝试建立一个警报系统，并在某个指标案例过高时发送适当的电子邮件。
从保存点恢复 Flink 作业时出现 NoSuchMethodError
我使用的 Apache Flink 版本为 1.16.1。当我使用 fromSavepoint 选项部署作业时，出现以下错误； “java.lang.NoSuchMethodError: org.apache.commons.cli.CommandLine.hasOption(Lorg/ap...
我有一个使用RocksDB StateBackend的flink任务，检查点配置是最小间隔3分钟，超时5分钟。 当我测试检查点恢复机制时...
在连接广播流和配置流的过程中，如何根据配置优雅地侧输出到不同的流？
连接Flink数据流和广播流后，我们发现在ProcessFunction的processElement方法中，ctx对象只能进行只读操作，不能直接进行