apache-flink 相关问题

Apache Flink是一个用于可扩展批处理和流数据处理的开源平台。 Flink在一个系统中支持批量和流分析。分析程序可以用Java和Scala中简洁优雅的API编写。

Flink 强制清理状态描述符的键控状态

我目前正在开发一个使用 flink 的 keyed state 的操作符(sink)。状态后端是基于堆的。状态 ttl 设置为 24 小时。操作员用例是这样的:首先我们捕获请求并存储

回答 1 投票 0

ProcessWindowFunction 中的当前键

似乎我错过了一些明显的东西,但似乎没有办法从 ProcessWindowFunction::process 方法中的 Context 对象获取当前密钥?本课程延伸

回答 1 投票 0

由于正在进行 Leader 选举,Flink 服务暂时不可用。请刷新

这是我第一次使用flink,从网站下载了https://dlcdn.apache.org/flink/flink-1.16.0/flink-1.16.0-bin-scala_2.12.tgz并解压它,我运行这个命令来启动它./...

回答 2 投票 0

使用rocksdb写入azure UltraSSD LRS以存储flink键控状态时出现异常

我正在使用 Flink 应用程序将键控状态存储到安装在 kubernetes pod 上的 pvc 上。安装的 pvc 磁盘是 azure 上的 UltraSSD_LRS。 flink作业的配置如下: 状态。

回答 1 投票 0

处理 Apache Flink 长时间运行事件中的检查点超时

我们有一个应用程序,其中有一组规则和成员。每当新规则作为事件出现时,我们都需要在所有出席的成员中运行该规则。有数百万会员,...

回答 1 投票 0

Apache Flink 未打印任何新的流数据

我正在对用户的访问日志数据进行实时数据处理。它基本上跟踪用户在办公室的出勤情况。 在 kafka 流中,每当用户刷门时,都会记录 ev...

回答 1 投票 0

setGroupId 在 flink 流作业中不起作用

我使用以下命令在笔记本电脑上运行 Flink: ./bin/start-cluster.sh 我正在编写一个简单的 Flink 作业来从一个主题读取数据并为另一个主题生成相同的数据。 公共类第三个工作{ p...

回答 1 投票 0

使用 Flink Kubernetes Operator 在 Flink 上自定义作业错误

我需要如何调试的建议,我可以检查下降的 Flink 作业的哪些内容。 我已经安装了 Flink Kubernetes Operator v1.8 ok K8s,从模板“statemachine.jar”创建了作业,它运行成功...

回答 1 投票 0

Flink作业是否可以在没有sink的情况下执行?

我试图减少我的一项 Flink 作业的处理时间,并发现一些操作符正在被执行,无论它们是否连接到任何接收器。这也有可能吗...

回答 1 投票 0

通过 Docker 集成 Flink 和 HDFS

我有 flink jobmanager 和 taskmanager 节点,还有 hdfs namenode 和 datanode 作为 Docker 容器。 职位经理: 图片:flink:1.17.2-scala_2.12-java8 端口: - “8081:……

回答 1 投票 0

无法连接Flink到Kafka

我正在使用 docker-compose.yml 运行 Docker 容器。我正在发布日志消息,它们成功发布到 Kafka 主题,但是当我尝试将其读取到 Flink 时,PyFlink 会正确...

回答 1 投票 0

在 Flink 中使用 MongoDB SQL Connector 时需要解决方法

在我们的项目中,我们有一个使用Apache Flink并使用MongoDB SQL Connector从Flink写入数据的需求。 根据 Flink 文档,Mongo 连接器使用 upsert 语义...

回答 1 投票 0

在单元测试中检查 Flink 算子状态

使用 Flink 的测试工具类来测试我的有状态运算符,我想编写单元测试来验证存储在运算符状态中的数据是否是我所期望的。不过,我好像...

回答 3 投票 0

Flink Sql 查询使用 UNNEST 并创建临时表

我正在努力将 Spark SQL 查询转换为 Flink SQL。工作 Spark SQL 查询是: 创建或替换临时视图 tempView AS 选择 event.user_id AS userId, event.code AS 代码...

回答 1 投票 0

创建 MAP 的 Flink Sql 查询

我有一个以下格式的有效 Spark SQL 查询: 字符串 flinkSqlQuery = “选择”+ “ 地图(” + " 'mId', 成员Id, " + “ 'rId', IFNULL(读...

回答 1 投票 0

使用 Kafka Connector 将 Apache Flink Python 从 1.15.4 升级到 1.16+ 会导致现有消费者/生产者断开连接

我有一个通过 Confluence 的 cp-kafka 7.2 运行 apache kafka 代理的设置,其中包含 Zookeeper、logstash 消费者和使用 librdkafka 的自定义 kafka 生产者容器(https://github.com/apache/m...

回答 1 投票 0

并行的flink任务最后联合起来会互相影响吗?

我在flink中有以下任务。看起来 A 正在受到背压,尽管他自己的数据流中没有繁忙的任务,但并行的任务稍后加入。 有没有可能A又回来了……

回答 1 投票 0

当 kafka 主题摄取的日志数量为零时,用于检测异常的 Flink 程序不会给出任何输出

我正在编写一个pyflink程序,用于使用指数加权移动平均值对进入kafka主题的日志数量进行异常检测。话题所在的kafka经纪人是ru...

回答 1 投票 0

检查点和应用程序版本与 AWS Managed Flink 不兼容

我有一个 AWS 托管 Apache Flink 应用程序。 我们有 2 个输入数据流和 2 个输出数据流。 每次我进行更大的更改(例如,我们更改输入和输出流上的数据格式......

回答 1 投票 0

Flink 卡在广播上

我遇到了 Flink 在广播状态写入时卡住的问题: ctx.collect(数据) 其中 ctx 是 SourceContext 没有抛出任何异常,并且胎面转储卡在周围,...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.