Apache Flink是一个用于可扩展批处理和流数据处理的开源平台。 Flink在一个系统中支持批量和流分析。分析程序可以用Java和Scala中简洁优雅的API编写。
Apache Flink SQL Client 无法连接到 EKS 集群中的 JobManager 实例
我已经按照 https://nightlies.apache.org/flink/flink-docs-master/docs/deployment/resource-providers/standalone/kubernetes/#session-mode 在 Kubernetes 上部署了 Apache Flink 会话模式，并且有...
Flink 应用程序未接收和处理 Kinesis 连接器关闭时生成的事件
问题：Flink 应用程序无法接收和处理 Kinesis 连接器关闭时（由于重新启动）生成的事件 我们有以下 Flink 环境设置 环境
如果我们在 KeyedStream#process 的 KeyedProcessFunction 中填充一个状态对象，例如 新的 KeyedProcessFunction() { 私人地图状态 如果我们在 KeyedStream#process 的 KeyedProcessFunction 中填充状态对象，例如 new KeyedProcessFunction<String, Rule, Rule>() { private MapState<String, ArrayList<Rule>> rulesState; @Override public void open(Configuration parameters) throws Exception { super.open(parameters); rulesState = getRuntimeContext().getMapState(Descriptors.rulesPerCustomerDescriptor); } @Override public void processElement(Rule value, KeyedProcessFunction<String, Rule, Rule>.Context ctx, Collector<Rule> out) throws Exception { out.collect(value); rulesState.put(); } }); 如果另一个 KeyedStream#process 方法都使用相同的键进行分区，我们会从另一个 KeyedStream#process 方法中获得相同的状态对象吗？ 不。状态对于建立状态的特定运营商而言是本地的。无法从其他任何地方访问它。
我正在尝试学习 Apache Flink，下面提到的用例似乎很简单，以至于 Flink 不支持它？让我开始认为我理解的东西根本上是错误的。 用例是这样的
Flink statebackend - 并行性如何与 RocksDB 配合使用？
在下面的代码中： 打包支出报告； 导入 org.apache.flink.streaming.api.datastream.DataStream; 导入 org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; 导入 org.apache...
Apache Flink + java 17 + Spring Boot 3.1.0
我升级了我的 spring boot 和 java 版本并运行我的 apache flink 应用程序，但它给了我类似的错误 无法将字段设置为 private static final int java.lang.Class.ANNOTATION 可访问：mo...
我惊讶地发现 Flink 中的 DataStream 没有外连接（DataStream 文档）。 对于 DataSet，您拥有所有选项：leftOuterJoin、rightOuterJoin 和 fullOuterJoin，除了
Flink - Statebackend 可以允许清除 RocksDB 表中的旧数据吗？
在下面的代码中： 类丰富流{ private val checkpointsDir = "file://${System.getProperty("user.dir")}/checkpoints/" private val rockDBStateDir = "fil...
Flink - keyBy() 函数是否在内部对 flink 运算符进行分区？
以下代码摘自文档： 打包支出报告； 导入 org.apache.flink.streaming.api.datastream.DataStream; 导入 org.apache.flink.streaming.api.environment.
下面是维护检查点的代码： 类丰富流{ private val checkpointsDir = "file://${System.getProperty("user.dir")}/checkpoints/"
如何在利用 Apache Flink 中的广播状态模式和多个并行性的同时保持事件流（实时）的顺序？
寻求有关在具有多个并行实例的 Apache Flink 中使用广播状态模式时维护实时事件流中的事件顺序的建议。 Flink 进程的并行性...
Flink Gauge - Gauge 未能将结果更新为多个指标
使用 Fling Gauge 指标 弗林克 1.17.x 添加了多个 Gauge 指标并根据条件更新指标，如代码中所示。 查询 Flink 指标 REST API 并仅获取满足一项的结果...
如何升级 Amazon Kinesis Analytics Apache Flink 运行时？
我们有一个在 Apache Flink 1.13 上运行的应用程序，假设我们有一个分支，我们已将代码更新到 Flink 1.15.2 并构建了一个 jar 并将其放在 S3 上。 我们在 AWS 控制台中做什么来更改...
在Flink中，有什么方法可以对DataStream进行聚合并存储聚合值吗？
我是 Flink 新手。我有这个用例 我有一个双精度数据流，我试图获取整个数据流的总和。 我使用过ReduceFunction 和AggregateFunction。 情况1： 在 R...
有什么方法可以在 Apache Flink 中对 DataStream 进行聚合并存储聚合值吗？
我是 Flink 新手。我有这个用例 我有一个双精度数据流，我试图获取整个数据流的总和。 我使用过ReduceFunction 和AggregateFunction。 情况1： 在 R...
在flink中如何跟踪扩展UserDefinedFunction的类中的自定义指标
我有一个简单的函数来处理一些 json 字符串 公共类 ArraySizeUdf 扩展 ScalarFunction { 私有静态最终 Logger LOG = LoggerFactory.getLogger(ArraySizeUdf.c...
我正在尝试在网络用户界面中查看我的工作。 我使用createLocalEnvironmentWithWebUI，代码在IDE中运行良好，但无法在http://localhost:8081/#/overview中看到我的工作 验证值配置：
Apache Flink SQL - 使用 LAG 函数时结果缓慢
我有一个非常简单的 SQL 查询，在 AWS Kinesis Data Analytics 中运行，从 Kinesis Stream 读取。当我使用 LAG 函数时，返回结果时性能非常慢。在一些
我有一个用例，我想在 Flink 上运行 2 个独立的处理流程。 所以 2 个流程看起来像 Source1 -> 操作员1 -> Sink1 Source2 -> 操作员2 -> Sink2 我想重复使用同一个 F...
Flink Kubernetes 算子 |如何将 s3 密钥/秘密传递给 flink-conf.yaml
我正在使用 Flink 的 Kubernetes pod 运算符（在 AWS EKS 集群中）部署 Flink 作业，并尝试设置 AWS S3 位置目录以进行检查点和保存点。我必须通过 s3 访问/秘密 ke...