apache-flink 相关问题

Apache Flink是一个用于可扩展批处理和流数据处理的开源平台。 Flink在一个系统中支持批量和流分析。分析程序可以用Java和Scala中简洁优雅的API编写。

如何为Flink kubernetes Operator部署CRD添加标签?

我部署了 Flink kubernetes Operator,在为“FlinkDeployment”部署自定义资源时,我需要向部署规范添加一些元数据标签,因为我们的组织承认我们...

回答 2 投票 0

AWS 管理的 apache flink。 “<someuuid>pyflink/bin/pyflink-udf-runner.sh”:错误=13,权限被拒绝“不使用udfs

我正在尝试在AWS-flink中运行一个非常简单的应用程序。 阿帕奇弗林克 1.18 运动连接器 1.18 Python apache flink == 1.18 使用 pom.xml 为 flink-connector-kin 收集 jar 依赖项...

回答 1 投票 0

使用“FOR SYSTEM_TIME AS OF”语句时,外部数据库上的 Sedona Flink SQL 查找失败

我正在编写一个 Flink 应用程序,其目标是利用数据库 (Postgis) 上存在的数据丰富从 Kinesis 源获取的数据。 我在文档中发现 Flin 上的可用功能...

回答 1 投票 0

在 Java 中使用 FlinkKinesisConsumer 时如何提供会话令牌?

我尝试使用用户 A 承担角色 R1,并使用 R1 承担不同帐户中的 R2。我已经创建了一个 StsClient 来获取我不知道的 accessKeyId、secretKeyId 和 sessionToken...

回答 1 投票 0

在类路径中找不到任何实现“org.apache.flink.table.factories.DynamicTableFactory”的标识符“kinesis”工厂

我正在尝试按照存储库 https://github.com/aws-samples/pyflink-getting-started.git 使用 apache flink 1.15.2 运行 pyhon 作业 该存储库列出了 4 个步骤,我陷入了第一步,即 1) 本地

回答 1 投票 0

带有键控窗口流的单个分区上的最新记录

Flink 流式传输管道,具有 1 个 kafka 分区,具有 5 个并行度,具有带 1 分钟滚动窗口的键控事件窗口。我们使用带有默认周期性生成的升序时间戳水印...

回答 1 投票 0

org.apache.kafka.common.errors.UnsupportedVersionException

尝试将已运行的应用程序的 Flink 版本从 1.14.2 升级到 1.17.1。该应用程序具有与 Kafka 一样的源和接收器(不同主题同一集群)。升级版本后

回答 1 投票 0

如何在 apache flink 检查点中测试 RocksDB 压缩

我有一个 Flink 管道,运行着一些过滤器、映射、聚合器和 Windows 运算符。启用增量检查点的 RocksDB 后端。 我的检查点数据大小正在逐渐增长。我

回答 1 投票 0

在单个事务中将数据接收到数据库和Kafka/Axon

我是 Flink 新手,有一个用例来使用 Topic1 中的数据并在数据库中插入/更新,并将相同的数据推送到将由不同服务使用的 Topic2。我现在拥有的代码有点......

回答 1 投票 0

如何与windows操作符一起配置aggregateFunction的状态TTL

我有一个flink流管道,配置了一些过滤器、map、aggregatorFunction和windows操作符(5分钟的翻滚窗口)。我正在使用增量rocksDB后端(它是存储...

回答 1 投票 0

Apache Flink 任务的内存复制缓存

我正在处理需要根据库存数据进行转换的流。本质上,库存数据会很大(没有确切的数字),并且会有大量的读取和很少的写入......

回答 1 投票 0

“类 java.time.LocalDate 无法转换为类 java.lang.Number”,在 Avro 中保存时,逻辑类型为日期,类型为 int

我正在尝试在 parquet 输出中保存 Avro 中存在的具有日期逻辑类型的字段(它在使用 int 作为数据类型保存时有效,但在尝试保存为日期逻辑类型时给出错误...

回答 2 投票 0

如何使用flink sql进行基于内容的重复数据删除

我的flink sql语句如下 创建或替换表 table_one /** mode('streaming')*/ ( `pk` 字符串, `id` 字符串, `段`数组, `头...

回答 1 投票 0

Flink 无法解析 DataStream API 中 Debezium 写入 Kafka 的 Avro schema

似乎没有解决方案可以自动将 Confluence SchemaRegistry 的最新 schema 与 Kafka-topic 中的数据同步。因此,我通过从 Confluence Schema Regi 复制来手动添加架构...

回答 1 投票 0

在纱线集群和分离模式下使用时我的主要方法在哪里运行

我是 flink 新手,正在阅读 Flink 1.8 源代码(https://github.com/apache/flink/tree/release-1.8)来了解 flink 如何与 YARN 配合使用。 我知道有分离模式和非分离模式...

回答 1 投票 0

当源输入耗尽时,Flink 在处理函数上触发注册计时器

我正在使用 Flink 流从多个资源(包括文件)读取输入。我的目标是触发一些 定期计算(处理时间)并在到达文件末尾时触发...

回答 2 投票 0

如何在 Apache Flink 中连接 RabbitMQ“流”?

有没有办法连接RabbitMQ“流”而不是Apache Flink中的队列? 谢谢你! 我能够获取 RabbitMQ 队列作为在 Apache Flink 中工作的源,但如何获取 RabbitMQ s...

回答 1 投票 0

TestProcessingTimeService 和 InternalTimeServiceManagerImpl 有什么区别?

使用 ProcessFunctionTestHarnesses 对 Apache Flink 进行单元测试时 KeyedOneInputStreamOperatorTestHarness testHarness = ProcessFunctionTestHarnesses.forKeyedProcessFunctio...

回答 1 投票 0

将 Flink SQL Client 连接到 Kubernetes 上的 Flink 集群

我已经使用 Terraform 和 Helm 在 Kubernetes 上设置了 Flink 集群。我使用了 Flink Operator,并且还单独将 Flink SQL Client 下载到我的机器上。 资源“helm_release”...

回答 1 投票 0

使用 Flink 从数据库动态获取新记录并发布到 kafka/axon 主题

我是 Flink 新手,有 2 个 Flink 作业的用例,第一个是使用 Topic1 中的数据并在数据库中插入/更新,第二个是获取数据库中插入/更新到由不同服务使用的 Topic2 的任何新数据。 .

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.