apache-flink 相关问题

Apache Flink是一个用于可扩展批处理和流数据处理的开源平台。 Flink在一个系统中支持批量和流分析。分析程序可以用Java和Scala中简洁优雅的API编写。

Kubernetes Operator 1.9 部署的 Flink 的 HA 中是否可以运行多个 JobManger 实例

基本上,我们有一个较低的环境集群,用于多个环境[Dev、QA、STG]。 所以我在 Flink 命名空间中部署了 Flink Kubernetes Operator 1.8,然后是第一个

回答 1 投票 0

短期 Flink 作业的指标

我正在启动一个作业(自动检测为批处理),该作业读取 csv(3 条记录)并将相同的内容输出到 Kafka。这项工作大约需要 3 秒才能运行,在结束时,我需要满足一些...

回答 1 投票 0

classNotFound Apache Flink in java

我正在尝试用java api编写最简单的flink应用程序。我已经尝试过使用 java 21 的 flink 1.19 并尝试使用 java 11 和 17 的 flink 1.8,但每次在相同的代码上都会遇到相同的错误:

回答 1 投票 0

PieCloudDB支持Flink吗?

我想将MySQL中的数据同步到PieCloudDB进行数据分析。 PieCloudDB 是否提供使用 Apache Flink 作为数据同步工具的原生支持?有没有具体的配置...

回答 1 投票 0

Flink - 如何将表结果转换为Datastream

我试图查询一个postgresql表,并将其转换为dataStream: StreamExecutionEnvironment bsEnv = StreamExecutionEnvironment.getExecutionEnvironment(); 流表环境 tEnv =

回答 1 投票 0

在 Docker 设置中添加 Flink Job Jar 并通过 Flink Rest API 运行作业

我们在 Cluster Session 模式下运行 Flink,并自动在 Dockerfile 中添加 Jars: 添加 pipeline-fat.jar /opt/flink/usrlib/pipeline-fat.jar 这样我们就可以通过 Flink Rest API 运行这个 Jar

回答 3 投票 0

flink 为 SlidingWindows 存储什么状态?

当我在 SlidingWindow 上使用聚合函数时,flink 在状态中存储什么? 例如,如果我对大小为 1 小时、滑动时间为 5 分钟的滑动窗口进行聚合计数。这是不是意味着……

回答 1 投票 0

在pyflink中从S3读取数据

我想在 Pyflink 中设置一个数据流,我想从 S3 存储桶读取数据并对其进行一些处理,但我无法从我提供的最小代码片段的存储桶中读取文件...

回答 1 投票 0

如何监听 Flink 中的检查点/保存点创建?

我有一个flink应用程序,我想在其中监听检查点/保存点创建事件。我怎么做? 我找不到任何方法来挂钩 StreamExecutionEnvironment 中检查点的侦听器。

回答 1 投票 0

如何监听 Flink 中的检查点/保存点创建?

我有一个flink应用程序,我想在其中监听检查点/保存点创建事件。我怎么做? 我找不到任何方法来挂钩 StreamExecutionEnvironment 中检查点的侦听器。

回答 1 投票 0

flink 中的水印没有增加

所以我尝试使用未加密的 processFunctions 创建自己的窗口方案。我正在使用来源并想使用水印。我目前的水印实现如下

回答 1 投票 0

如何使用 Apache Flink 将 HTTP 请求与其相应的响应关联起来?

我正在寻找在 Apache Flink 流处理作业中关联请求及其相应响应的最佳实践。问题的关键属性是: 状况: 每个请求和

回答 1 投票 0

Apache Flink HA - 选择的领导者错误的 URL

拥有具有 HA 的 Flink 集群 1.19.0,询问 zk“leader/resource_manager/connection_info”,它显示领导者的 IP:既不是 localhost,也不是 127.0.0.1。这是网络可访问的IP值。

回答 1 投票 0

如何为Flink kubernetes Operator部署CRD添加标签?

我部署了 Flink kubernetes Operator,在为“FlinkDeployment”部署自定义资源时,我需要向部署规范添加一些元数据标签,因为我们的组织承认我们...

回答 2 投票 0

AWS 管理的 apache flink。 “<someuuid>pyflink/bin/pyflink-udf-runner.sh”:错误=13,权限被拒绝“不使用udfs

我正在尝试在AWS-flink中运行一个非常简单的应用程序。 阿帕奇弗林克 1.18 运动连接器 1.18 Python apache flink == 1.18 使用 pom.xml 为 flink-connector-kin 收集 jar 依赖项...

回答 1 投票 0

使用“FOR SYSTEM_TIME AS OF”语句时,外部数据库上的 Sedona Flink SQL 查找失败

我正在编写一个 Flink 应用程序,其目标是利用数据库 (Postgis) 上存在的数据丰富从 Kinesis 源获取的数据。 我在文档中发现 Flin 上的可用功能...

回答 1 投票 0

在 Java 中使用 FlinkKinesisConsumer 时如何提供会话令牌?

我尝试使用用户 A 承担角色 R1,并使用 R1 承担不同帐户中的 R2。我已经创建了一个 StsClient 来获取我不知道的 accessKeyId、secretKeyId 和 sessionToken...

回答 1 投票 0

在类路径中找不到任何实现“org.apache.flink.table.factories.DynamicTableFactory”的标识符“kinesis”工厂

我正在尝试按照存储库 https://github.com/aws-samples/pyflink-getting-started.git 使用 apache flink 1.15.2 运行 pyhon 作业 该存储库列出了 4 个步骤,我陷入了第一步,即 1) 本地

回答 1 投票 0

带有键控窗口流的单个分区上的最新记录

Flink 流式传输管道,具有 1 个 kafka 分区,具有 5 个并行度,具有带 1 分钟滚动窗口的键控事件窗口。我们使用带有默认周期性生成的升序时间戳水印...

回答 1 投票 0

org.apache.kafka.common.errors.UnsupportedVersionException

尝试将已运行的应用程序的 Flink 版本从 1.14.2 升级到 1.17.1。该应用程序具有与 Kafka 一样的源和接收器(不同主题同一集群)。升级版本后

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.