apache-flink 相关问题

Apache Flink是一个用于可扩展批处理和流数据处理的开源平台。 Flink在一个系统中支持批量和流分析。分析程序可以用Java和Scala中简洁优雅的API编写。

静态数据加入Kafka Stream时如何避免PyFlink中出现重复记录?

我正在使用 PyFlink,并遇到了一个问题,尽管我的 SQL 查询已经过测试并且在 SQL 中正常工作,但我的最终输出包含重复的记录。我的设置包括 Kafka

回答 1 投票 0

Flink 1.16.1 中 WatermarkStrategy 立即触发 CEP 事件问题

我正在使用与包含字符串“fail”的单个事件匹配的模式来测试 Flink CEP。我只发送一个事件并期望立即得到结果。在下面的代码中,我使用了两种方法...

回答 1 投票 0

通过 Scheduler 使用 Flink 作业从数据库加载数据

客户对使用CDC/kafka方法从数据库加载数据不感兴趣,而是要求使用调度程序方法。 有一个 fromCollection api 来创建 DataStream,它接受 loa...

回答 1 投票 0

在 Flink 中将带水印的流与另一个不带水印的流连接

我在Flink中有流A和流B。 A 有水印和时间戳 B 是我通过定期调用 API 获得的一些来源,它没有水印/时间戳 我想连接流 A 和

回答 1 投票 0

将flink从1.10升级到1.11,遇到错误“No ExecutorFactory found to run the application”

java.lang.IllegalStateException:找不到执行应用程序的 ExecutorFactory。 在 org.apache.flink.core.execution.DefaultExecutorServiceLoader.getExecutorFactory(DefaultExecutorServiceLo...

回答 4 投票 0

我的Spring Boot项目无法启动,因为集成了Flink

我的Spring Boot项目无法启动,因为集成了Flink!提示找不到类,但是这个类确实存在,打包也可以 日志 2024-05-29 10:02:19,750 信息 (

回答 2 投票 0

Flink 中使用 JDBC Sink 时 AbstractRichFunction 的实现不可序列化

我试图从事件发件箱表中读取数据,然后有两个接收器,一个将事件推送到 Kafka 主题,另一个使用 Flink 更新同一数据库中的表。因为我想要这两个

回答 1 投票 0

Flink CEP 如何对事件进行排序

在这个问题中写道:“CEP 总是按时间戳对其输入进行排序”。 你能告诉我排序在 cep 库代码中的具体位置吗? 有没有办法控制这种排序,

回答 1 投票 0

具有多个 Kafka 源的 Apache Flink。确保在使用另一个主题的数据之前完全阅读一个主题

通过创建 GlobalKTable 使用 Kafka Streams 我知道根据定义,该表将在其他源的流式传输开始之前完全填充。 我正在寻找类似的

回答 1 投票 0

无法将 org.bson.BsonDocument 的实例分配给字段 org.apache.flink.connector.mongo..source.MongoSource.filter

我是Flink的新手,现在我正在使用flink 1.7用pyflink构建一个项目来从MongoDB查询数据并接收到Mysql。但是,我不断收到错误 Caused by: java.lang.ClassCastException: c...

回答 1 投票 0

Flink 用户定义的Sink Connector 无法将数据序列化为json 格式

我正在开发用户定义的 Flink MQTT 连接器。 https://github.com/yinjilong/StoneForests-flink-mqtt-connector 但是,当我尝试用 json 写入消息时遇到序列化问题

回答 1 投票 0

Flink 1.12 将 Avro 通用记录序列化到 Kafka 失败,并出现 com.esotericsoftware.kryo.KryoException:java.lang.UnsupportedOperationException

我有一个数据流[GenericRecord]: val Consumer = new FlinkKafkaConsumer[String]("input_csv_topic", new SimpleStringSchema(), 属性) val 流 = senv. 添加源(消费者)。 ...

回答 2 投票 0

Flink Kubernetes Operator Pod 资源请求和限制

我在使用 Flink Kubernetes Operator v1.8 时一直无法找到一种方法来限制 pod 的资源请求和限制。 我还尝试在 podTem 的容器部分中配置它......

回答 1 投票 0

是否有机会使用 apache flink 的 jdbc 接收器来限制数据库会话?

我们正在使用jdbc接收器(apache flink),通过它我们可以达到数据库最大会话数,特别是当我们增加并行度时。 我们的测试表明,如果我们增加默认并行...

回答 1 投票 0

当我尝试在 flink 集群上运行 Beam Pipeline 时,为什么会出现 ERROR:root:java.lang.NullPointerException?

我正在尝试在本地托管的 Flink 集群上运行一个简单的 Beam 管道,但在执行此操作时遇到错误。我已经尝试了在互联网上可以找到的所有内容。 导入 apache_beam 作为光束 来自

回答 1 投票 0

写入 Blob 存储时 Flink 检查点失败

我有一个 Flink 作业,它从 Kafka 主题(有 6 个分区)读取数据,在一个窗口(当前是 24 小时窗口)上处理每个事件,然后将窗口事件接收到 Blob 存储容器中......

回答 1 投票 0

Amazon S3 作为使用 CDC 的 Apache Flink 的源

每当将文件添加到 S3、Apache Flink 时,我都需要使用 CDC 发布事件,必须从 Flink 读取并处理新添加的文件。

回答 1 投票 0

Flink GlobalWindow Trigger 只处理触发事件

我通过事件属性通过数据流键,然后将其传递到全局窗口,在特定事件进入时触发,问题是当触发窗口来处理事件时,它会...

回答 1 投票 0

为什么带有 Kafka Connector 的 Flink Table 无法返回基于窗口的聚合操作的结果?

我创建了一个表 创建表出价( 拍卖BIGINT, 投标人 BIGINT, 价格大整数, 通道 VARCHAR, 网址 VARCHAR, 日期时间时间戳(...

回答 1 投票 0

apache flink 中的依赖管理和执行环境

我们正在评估 apache flink 用于部署流式机器学习应用程序。 apache flink 尤其是执行环境中如何处理依赖管理? 想象一下具有 diff 的 python 任务...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.