apache-flink 相关问题

Apache Flink是一个用于可扩展批处理和流数据处理的开源平台。 Flink在一个系统中支持批量和流分析。分析程序可以用Java和Scala中简洁优雅的API编写。

增量检查点数据大小(Flink)

我们正在使用Flink,并且我们通过设置state.backend.incremental = true启用了增量检查点。我们使用rocksdb 作为状态后端。通过增量检查点,我们期望“

回答 1 投票 0

flink 如何将数据减少到一个接收器

我正在学习flink,我尝试keyBy数据并减少它然后sink打印,但是为什么我的sink调用方法没有被调用? 配置配置 = new Configuration(); StreamExecutionEnviro...

回答 1 投票 0

如何将Table转换为包含数组类型的DataStream(Flink)?

我有关于 Flink (1.13+) 的 table-api 的问题。我有一个包含多个字段的 POJO,其中之一是: 列表 my_list; 我使用以下声明创建我的表...

回答 1 投票 0

用于elasticserach的apache flink接收器NoClassDefFoundError

我正在编写一个Flink作业来将数据流发送到elasticsearch。我正在使用 Maven 和 IntelliJ。当我尝试在 IntelliJ 中测试作业时,出现以下错误:java.lang.NoClassDefFoundError:...

回答 1 投票 0

如何关闭空闲流的flink事件时间窗口?

当前使用 Flink 事件时间,但有时流会空闲,在此期间我希望窗口关闭,以便数据得到输出,而不是等待另一个事件通过。我是不是……

回答 1 投票 0

Apache Flink SQL Client 无法连接到 EKS 集群中的 JobManager 实例

我已经按照 https://nightlies.apache.org/flink/flink-docs-master/docs/deployment/resource-providers/standalone/kubernetes/#session-mode 在 Kubernetes 上部署了 Apache Flink 会话模式,并且有...

回答 1 投票 0

flink 如何组合流和乘法映射

我有一个流(不是键控流)和3个地图(每个地图都是来自不同rest api的结果)。 这3张地图是静态的,以后不会改变。 我想使用

回答 1 投票 0

Flink 应用程序未接收和处理 Kinesis 连接器关闭时生成的事件

问题:Flink 应用程序无法接收和处理 Kinesis 连接器关闭时(由于重新启动)生成的事件 我们有以下 Flink 环境设置 环境

回答 3 投票 0

flink 是否总是为相同的键值返回相同的分区状态对象?

如果我们在 KeyedStream#process 的 KeyedProcessFunction 中填充一个状态对象,例如 新的 KeyedProcessFunction() { 私人地图状态 如果我们在 KeyedStream#process 的 KeyedProcessFunction 中填充状态对象,例如 new KeyedProcessFunction<String, Rule, Rule>() { private MapState<String, ArrayList<Rule>> rulesState; @Override public void open(Configuration parameters) throws Exception { super.open(parameters); rulesState = getRuntimeContext().getMapState(Descriptors.rulesPerCustomerDescriptor); } @Override public void processElement(Rule value, KeyedProcessFunction<String, Rule, Rule>.Context ctx, Collector<Rule> out) throws Exception { out.collect(value); rulesState.put(); } }); 如果另一个 KeyedStream#process 方法都使用相同的键进行分区,我们会从另一个 KeyedStream#process 方法中获得相同的状态对象吗? 不。状态对于建立状态的特定运营商而言是本地的。无法从其他任何地方访问它。

回答 1 投票 0

如何根据另一个flink数据流过滤?

我正在尝试学习 Apache Flink,下面提到的用例似乎很简单,以至于 Flink 不支持它?让我开始认为我理解的东西根本上是错误的。 用例是这样的

回答 1 投票 0

Flink 集成测试:输入源的顺序依赖性

我想要实现的目标 我想在 flink 中对窗口函数实现自动化测试,以确保累加器和窗口处理函数一起创建预期的聚合。 什...

回答 1 投票 0

pyflink,导入错误:没有名为 pyflink 的模块

我正在测试 pyflink 操作系统:centos7 flink版本:flink-1.14.3 virtualenv python版本:Python 3.6.8 点列表: 阿帕奇光束 2.27.0 阿帕奇-flink 1.14.3 apache-flink-librari...

回答 3 投票 0

flink 广播流和广播状态

关于广播流和广泛的情况,我有两个问题。 KeyedBroadcastProcessFunction#Context 有以下方法(getBroadcastState),我会问为什么它使用地图状态

回答 1 投票 0

流媒体应用程序中的旁线模式

我有一个 Spark 流应用程序。它需要一批记录并对记录执行多个映射函数。 当少数记录在 .map 阶段失败时,我希望能够知道原始 id/re...

回答 1 投票 0

flink-connector-cassandra 出现架构解析错误“UnresolvedUserTypeException:无法解析用户类型 system_distributed.duration”

上下文:我们有一个 flink 应用程序,它消耗来自 kafka 的数据并将数据下沉到 Scylla DB 上 应用程序启动时出现架构解析错误 为什么我们会收到此错误? 弗林克

回答 1 投票 0

Flink statebackend - 并行性如何与 RocksDB 配合使用?

在下面的代码中: 打包支出报告; 导入 org.apache.flink.streaming.api.datastream.DataStream; 导入 org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; 导入 org.apache...

回答 1 投票 0

Flink KeyBy 随机数

有一个java flink代码,我想使用随机数作为keyby,所以我实现了KeySelector,下面代码中注释掉的那行是什么,但是会出现一些问题。 1.当我设置...

回答 1 投票 0

flink-connector-cassandra 出现架构解析错误

上下文:我们有一个 flink 应用程序,它消耗来自 kafka 的数据并将数据下沉到 Scylla DB 上 应用程序启动时出现架构解析错误 为什么我们会收到此错误? 弗林克

回答 1 投票 0

Apache Flink + java 17 + Spring Boot 3.1.0

我升级了我的 spring boot 和 java 版本并运行我的 apache flink 应用程序,但它给了我类似的错误 无法将字段设置为 private static final int java.lang.Class.ANNOTATION 可访问:mo...

回答 2 投票 0

Flink:DataStream 上没有外连接?

我惊讶地发现 Flink 中的 DataStream 没有外连接(DataStream 文档)。 对于 DataSet,您拥有所有选项:leftOuterJoin、rightOuterJoin 和 fullOuterJoin,除了

回答 3 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.