apache-flink 相关问题

Apache Flink是一个用于可扩展批处理和流数据处理的开源平台。 Flink在一个系统中支持批量和流分析。分析程序可以用Java和Scala中简洁优雅的API编写。

Apache Flink:在并行任务之间对齐水印

我们使用带有水印的周期性事件时间窗口。目前,我们的 Flink 应用程序中有 4 个并行任务。 在流式传输过程中,所有 4 个任务的水位值必须接近触发值

回答 2 投票 0

将 rowtime 与表 api 一起使用时出现 NullPointerException

我有以下针对 Flink 1.12.0 的简单代码,当我运行它时,会抛出异常。 包 org.example.model 导入 java.sql.Timestamp 案例类 Person2(姓名:字符串,生日:时间戳) 和

回答 1 投票 0

Flink 作业不向 StdOut 打印任何内容

我有一个 Flink 作业,我不明白为什么它不会打印到标准输出。我注意到,如果删除过滤器和水印,我会看到来自我的 kafka 主题的原始消息。但是应用聚合...

回答 1 投票 0

Flink Timer onTimer 事件 - 它们是否强制重新分配流?

我有 KeyedProcessFunction (名为 Stateless),可以处理每个键的数据(例如事务 id)。 无状态是轻量级的,不使用状态——它只设置计时器一个计时器。 我正在上游阅读

回答 1 投票 0

Flink 1.15 toRetractStream 转换错误:不支持收回流的 Legacy 转换

我正在将 Flink 1.9 升级到 1.15.2,并且使用 Table API 到 Datastream API 转换 (flink-table-api-scala-bridge) 的应用程序出现错误(见下文)。 环境: 弗林克:1.15.2 斯卡拉 2.1...

回答 1 投票 0

2022年Flink可以支持什么Java版本?

假设我开始一个新的Flink Java项目,如果我寻找“稳定的Flink Java生产体验”,我应该使用哪个版本?官方文档说可以支持...

回答 1 投票 0

Apache Beam DirectRunner 与 FlinkRunner 示例

我使用beam yaml(python sdk)构建了最简单的管道,其中读取csv文件并应打印到日志。 使用默认 DirectRunner 运行时: python -m apache_beam.yaml.main --

回答 1 投票 0

无法使用 apache flink 的接收器功能将带有标头的 CSV 文件写入 S3 存储桶

我的项目需要使用 apache flink(版本 1.18.0)的接收器功能将 csv 文件写入 S3 存储桶,其中包含标头。使用的编程语言是java。 Hadoop 文件系统是...

回答 1 投票 0

org.apache.flink.table.api.TableException:执行sql失败

我在 mini kube 中运行 flink 作业时遇到问题,该作业使用表连接器从 kafka 读取消息,然后尝试写回 kafka(我只是想学习表 api,所以不执行任何操作

回答 1 投票 0

从 flink sql 连接到 Confluence kafka 云

当我尝试连接到 Confluence 云时,出现以下错误。 引起:org.apache.kafka.common.KafkaException:java.security.NoSuchAlgorithmException:TLSv1.3 SSLContext不可用 在组织。

回答 1 投票 0

为什么Flink Exactly Once commit不会失败?

我正在使用 Flink EO。重新启动 Flink 作业时,我收到此警告: 2023-12-30 13:07:44.538 [Co-Flat 地图 -> Sink: Sink1 (3/8)#0] 警告 o.a.f.s.api.functions.sink.TwoPhaseCommitSinkFunc...

回答 1 投票 0

使用flink sql写delta表时找不到类

各位 当我尝试在flink sql中写入增量表时,它成功写入了很少的数据,然后在继续写入时抛出异常: 导致:java.lang.NoSuchMethodError:scala.jdk。

回答 1 投票 0

为什么 Flink Exactly Once commit 不会失败?

我正在使用 Flink EO。重新启动 Flink 作业时,我收到此警告: 2023-12-30 13:07:44.538 [Co-Flat 地图 -> Sink: Sink1 (3/8)#0] 警告 o.a.f.s.api.functions.sink.TwoPhaseCommitSinkFunc...

回答 1 投票 0

在 Apache Flink 中,可以在主函数内建立和访问全局变量

public static long jobStartTimeStamp; 公共静态无效主(字符串[] args){ //记录作业开始时间 jobStartTimeStamp = System.currentTimeMillis() + 120000; System.out.println("星星...

回答 1 投票 0

将连接表转换为数据流

我有一个数据流,需要使用 JDBC 将其与静态表连接,然后移回数据流。问题是我得到 表接收器“anonymous_datastream_sink$1”不支持消费 你...

回答 1 投票 0

表接收器不支持消费由节点Rank产生的更新和删除更改

请求:获取请求时间最晚的客户的最新记录详情 SQL查询: 选择 CUST_ID、DEPT_NAME、CREATED_AT FROM (SELECT *, ROW_NUMBER() OVER(PARTITION BY CUST_ID ORD...

回答 1 投票 0

flink 与rocksdb 进行聚合时失败

我有一个基于模型进行聚合的工作,例如,它包含一个Map字段。但聚合开始后,作业从“RUNING”更改为“FAILING” $...

回答 1 投票 0

Flink 没有写入 hbase

我在使用 Apache Flink 写入 HBase 表时遇到问题。我已经成功配置了从 Kafka 读取和写入以及从 HBase 读取 RowKey。然而,当尝试...

回答 1 投票 0

Flink SQL ROW_NUMBER 由于流模式下的 OVER windows 排序而导致聚合错误,必须在时间属性上定义

选择 EMPLOYEE_ID、DEPT_NAME、LOGGED_IN_AT、ROW_NUMBER() OVER(PARTITION BY EMPLOYEE_ID ORDER BY LOGGED_IN_AT ASC ) AS ROWNUM FROM inputTable 面临错误:超过窗口在流模式下的排序 mu...

回答 1 投票 0

Flink Kafka Consumer - 更改超时异常的重试次数

我有一个 Flink 作业,它使用 Flink 的 KafkaSource(“Flink-connector-Kafka”库)使用来自 Kafka 的数据。 有时我会收到超时异常“无法获取所有元数据

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.