apache-flink 相关问题

Apache Flink是一个用于可扩展批处理和流数据处理的开源平台。 Flink在一个系统中支持批量和流分析。分析程序可以用Java和Scala中简洁优雅的API编写。

从保存点恢复 Flink 作业时出现 NoSuchMethodError

我使用的 Apache Flink 版本为 1.16.1。当我使用 fromSavepoint 选项部署作业时,出现以下错误; “java.lang.NoSuchMethodError: org.apache.commons.cli.CommandLine.hasOption(Lorg/ap...

回答 1 投票 0

flink 检查点间隔设置

我有一个使用RocksDB StateBackend的flink任务,检查点配置是最小间隔3分钟,超时5分钟。 当我测试检查点恢复机制时...

回答 1 投票 0

在连接广播流和配置流的过程中,如何根据配置优雅地侧输出到不同的流?

连接Flink数据流和广播流后,我们发现在ProcessFunction的processElement方法中,ctx对象只能进行只读操作,不能直接进行

回答 1 投票 0

Flink Kubernetes Operator ok K8s - 作业完成后如何结束 pod?

Flink Kubernetes Operator 根据快速入门指南安装:“https://nightlies.apache.org/flink/flink-kubernetes-operator-docs-main/docs/try-flink-kubernetes-operator/quick-start /&q...

回答 1 投票 0

在应用程序模式下遇到类加载问题

我正在将 Yarn 集群上的 Flink 作业的部署模式从会话模式更改为应用程序模式。我有很多相同实施的工作,除了其中两个之外,所有工作都运行良好。 在

回答 1 投票 0

Apache Flink:如何得出内存限制值? [已关闭]

我对 Apache Flink 完全陌生。我有这个values.yaml 文件,其中包含任务管理器和作业管理器的配置。我正在尝试导出两者的 memory.limit 属性值

回答 1 投票 0

在flink中的每条记录中追加属于同一组的元素数量

虽然有一个文件,其中每行都包含以逗号分隔格式的客户数据 客户 ID、电子邮件 同一客户可以有多个电子邮件,因此同一客户会出现多条线路...

回答 1 投票 0

Flink 中的自定义窗口函数

我有一个流媒体用例,我想在 Flink 中实现一个自定义窗口函数,其中窗口启动是基于包含特定值的事件发生的。然后,窗口将编程...

回答 1 投票 0

我在 flink 中面临 ParquetFileWriting n hdfs 的问题,其中 parquet 文件大小约为 382 KB 。我想要 MB 格式的镶木地板文件

AvroParquetWriter.builder(文件路径) .withSchema(模式) .withCompressionCodec(CompressionCodecName.SNAPPY) .withConf(配置) .withDataModel(GenericData.get()) .

回答 1 投票 0

在Pyflink中添加外部依赖并在UDF中使用

我正在编写一个 UDF,它将进行 API 调用以获取 JSON 有效负载。它看起来是这样的—— @udf(result_type=DataTypes.STRING()) def get_data(): 响应 = requests.get("https:

回答 1 投票 0

java otel 配置错误 opentelemetry-exporter-otlp 在类路径上找不到

我在我的 java apache flink 项目中为 otel 定义了以下依赖项: flinkShadowJar (platform("io.opentelemetry:opentelemetry-bom:1.35.0")); flinkShadowJar("io.openteleme...

回答 1 投票 0

运行本地主机集群时出现异常

我是 Flink 新手。我在计算机上运行本地集群时遇到问题。部分关键软件信息如下: Flink 版本:Scala 2.11 为 1.13.0; 操作系统:Fedora 34; Java版本:16; 科学...

回答 2 投票 0

Apace Flink:任务管理器启动失败

我尝试在本地(Win 10 平台)上启动 flink(v1.15.0)作为独立集群,但任务管理器无法启动,导致可用任务槽数为零。 已经关注了...

回答 1 投票 0

Flink 检查点因延迟相关错误而停顿和超时

最近,我升级了现有的 Flink 作业(之前运行 Flink 1.15)以针对官方 Flink Kubernetes Operator(针对 Flink 1.18)运行,并开始看到一些奇怪的行为...

回答 1 投票 0

Apache Flink 创建表

我正在尝试使用以下代码在 Eclipse 中使用 Java 中的表 API 在 flink 中创建表。 环境设置设置 = 环境设置 .newInstance() .

回答 1 投票 0

Flink 是按值还是按引用处理状态?

到目前为止我发现的所有示例都类似地处理 Flink ValueState; 私有 ValueState myState; @覆盖 public void open(配置参数) { myState = getRuntimeConte...

回答 1 投票 0

Datastream API 中的 Flink Sink Parquet 压缩

我正在使用流数据API来读取镶木地板数据并丰富写入S3文件系统。在 flink 文档中,它说用于压缩表 API 的结果文件 Parquet 格式也支持

回答 1 投票 0

使用 python docker 3.9 - 3.12 安装 `apache-flink:1.19.0` 时出现问题

我在按照官方教程使用 python docker 3.9 - 3.12 安装 PyFlink/apache-flink 1.19.0 时遇到问题。 看来错误是关于返回 NoneType 的路径,但我不是......

回答 1 投票 0

Flink 中 AggregateFunction 的 merge() 方法

我想知道 AggregateFunction 上的 merge() 方法何时被调用。根据我从此处和此处的答案中了解到的情况,它仅适用于会话窗口并且发生在每个...

回答 2 投票 0

org.bson.BsonInvalidOperationException:预期为 INT64 类型的值是意外的 OBJECT_ID 类型

我尝试制作简单的 Apache Flink MongoDB 连接器代码来读取和写入 MongoDB 中的 json 数据。首先,下面的代码是 MongoDB Sink 代码。 流执行环境环境 =

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.