apache-flink 相关问题

Apache Flink是一个用于可扩展批处理和流数据处理的开源平台。 Flink在一个系统中支持批量和流分析。分析程序可以用Java和Scala中简洁优雅的API编写。

Flink Kubernetes Operator ok K8s - 作业完成后如何结束 pod?

Flink Kubernetes Operator 根据快速入门指南安装:“https://nightlies.apache.org/flink/flink-kubernetes-operator-docs-main/docs/try-flink-kubernetes-operator/quick-start /&q...

回答 1 投票 0

在应用程序模式下遇到类加载问题

我正在将 Yarn 集群上的 Flink 作业的部署模式从会话模式更改为应用程序模式。我有很多相同实施的工作,除了其中两个之外,所有工作都运行良好。 在

回答 1 投票 0

Apache Flink:如何得出内存限制值? [已关闭]

我对 Apache Flink 完全陌生。我有这个values.yaml 文件,其中包含任务管理器和作业管理器的配置。我正在尝试导出两者的 memory.limit 属性值

回答 1 投票 0

在flink中的每条记录中追加属于同一组的元素数量

虽然有一个文件,其中每行都包含以逗号分隔格式的客户数据 客户 ID、电子邮件 同一客户可以有多个电子邮件,因此同一客户会出现多条线路...

回答 1 投票 0

Flink 中的自定义窗口函数

我有一个流媒体用例,我想在 Flink 中实现一个自定义窗口函数,其中窗口启动是基于包含特定值的事件发生的。然后,窗口将编程...

回答 1 投票 0

我在 flink 中面临 ParquetFileWriting n hdfs 的问题,其中 parquet 文件大小约为 382 KB 。我想要 MB 格式的镶木地板文件

AvroParquetWriter.builder(文件路径) .withSchema(模式) .withCompressionCodec(CompressionCodecName.SNAPPY) .withConf(配置) .withDataModel(GenericData.get()) .

回答 1 投票 0

在Pyflink中添加外部依赖并在UDF中使用

我正在编写一个 UDF,它将进行 API 调用以获取 JSON 有效负载。它看起来是这样的—— @udf(result_type=DataTypes.STRING()) def get_data(): 响应 = requests.get("https:

回答 1 投票 0

java otel 配置错误 opentelemetry-exporter-otlp 在类路径上找不到

我在我的 java apache flink 项目中为 otel 定义了以下依赖项: flinkShadowJar (platform("io.opentelemetry:opentelemetry-bom:1.35.0")); flinkShadowJar("io.openteleme...

回答 1 投票 0

运行本地主机集群时出现异常

我是 Flink 新手。我在计算机上运行本地集群时遇到问题。部分关键软件信息如下: Flink 版本:Scala 2.11 为 1.13.0; 操作系统:Fedora 34; Java版本:16; 科学...

回答 2 投票 0

Apace Flink:任务管理器启动失败

我尝试在本地(Win 10 平台)上启动 flink(v1.15.0)作为独立集群,但任务管理器无法启动,导致可用任务槽数为零。 已经关注了...

回答 1 投票 0

Flink 检查点因延迟相关错误而停顿和超时

最近,我升级了现有的 Flink 作业(之前运行 Flink 1.15)以针对官方 Flink Kubernetes Operator(针对 Flink 1.18)运行,并开始看到一些奇怪的行为...

回答 1 投票 0

Apache Flink 创建表

我正在尝试使用以下代码在 Eclipse 中使用 Java 中的表 API 在 flink 中创建表。 环境设置设置 = 环境设置 .newInstance() .

回答 1 投票 0

Flink 是按值还是按引用处理状态?

到目前为止我发现的所有示例都类似地处理 Flink ValueState; 私有 ValueState myState; @覆盖 public void open(配置参数) { myState = getRuntimeConte...

回答 1 投票 0

Datastream API 中的 Flink Sink Parquet 压缩

我正在使用流数据API来读取镶木地板数据并丰富写入S3文件系统。在 flink 文档中,它说用于压缩表 API 的结果文件 Parquet 格式也支持

回答 1 投票 0

使用 python docker 3.9 - 3.12 安装 `apache-flink:1.19.0` 时出现问题

我在按照官方教程使用 python docker 3.9 - 3.12 安装 PyFlink/apache-flink 1.19.0 时遇到问题。 看来错误是关于返回 NoneType 的路径,但我不是......

回答 1 投票 0

Flink 中 AggregateFunction 的 merge() 方法

我想知道 AggregateFunction 上的 merge() 方法何时被调用。根据我从此处和此处的答案中了解到的情况,它仅适用于会话窗口并且发生在每个...

回答 2 投票 0

org.bson.BsonInvalidOperationException:预期为 INT64 类型的值是意外的 OBJECT_ID 类型

我尝试制作简单的 Apache Flink MongoDB 连接器代码来读取和写入 MongoDB 中的 json 数据。首先,下面的代码是 MongoDB Sink 代码。 流执行环境环境 =

回答 1 投票 0

pip 安装 apache-flink 时由于 numpy 出现错误

我尝试使用 python3 -m pip install apache-flink 或 pip3 install apache-flink 安装 Apache Flink,但两者都失败并出现退出代码 1 错误: clang:错误:clang 编译器不支持...

回答 2 投票 0

在PyFlink作业中使用KafkaOffsetsInitializer.comfilled_offsets遇到Py4JError(版本1.17.2)

我正在使用 PyFlink 使用 Apache Flink(版本 1.17.2)开发流应用程序,并且在配置 Kafka 源以从上次提交的偏移量恢复时遇到了问题。

回答 1 投票 0

为什么Flink核心节点不释放JVM Metaspace内存?

我正在运行一个 1.13.1 flink 集群,我在其中执行批处理作业,该作业执行 athena 查询并将结果保存在 athena 表中。 我一天内多次提交这些作业。 在每次执行中,cl...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.