Apache Flink是一个用于可扩展批处理和流数据处理的开源平台。 Flink在一个系统中支持批量和流分析。分析程序可以用Java和Scala中简洁优雅的API编写。
我想在依赖于 Numba (>= 0.50) 的 UDF 中使用 Python 库（pyod，最新）。我用 Python 创建了一个聚合 UDF，我对这个概念并不陌生。 我在使用过程中遇到错误...
我尝试使用java api测试Apache Flink的简单处理功能。 IDE：Visual Studio 代码 1.87.1 弗林克：1.18.1 CountWithTimestamp.java 公共类 CountWithTimestamp { 公共字符串密钥...
如何在本地使用 Hive Metastore 运行 Apache Flink 来测试 Apache Iceberg
我想摆弄一下 Apache Flink 和 Apache Iceberg，并在本地计算机上进行测试。我通读了文档，但我仍然不确定必须在本地设置什么...
在 Windows 上无法访问 Flink 仪表板 localhost:8081
我按照第一步安装了Flink。 我可以毫无问题地启动集群 $ 启动集群.sh 启动集群。 在主机 DESKTOP-.... 上启动独立会话守护进程 开始任务执行...
使用自定义类作为DataStreamSource类型时Flink作业失败的问题
我对 Flink 比较陌生，在 IntelliJ IDEA 中使用 Flink 1.18 时遇到了问题。我正在使用 openjdk@11。我注意到，当我使用内置数据类型（例如 Tuple2、Tup...
我有一个表定义为 创建表 kafka_table ( 字段 1 INT， 字段 2 字符串， 场 3 双 ） 和 （ '连接器' = '卡夫卡', '主题' = '你的主题名称', 'properties.bootstrap.servers'...
我有一个事件流，我想计算其属性如何在客户 ID 级别随时间变化。示例事件类似于 {“customer_ID”: 1, “property_1”: “val_1”, “property_2”: ...
在类路径中找不到任何实现“org.apache.flink.table.delegation.ExecutorFactory”的工厂。抛出异常
当我尝试在使用表环境时运行 Flink 批处理时，表环境未实现，而是抛出异常： 表环境 tenv = TableEnvironment.create(
通过 REST API 提交 Apache Flink 作业失败
我有一个本地 Apache Flink Cluster 版本 1.16.3 安装，如此处指定的。我已经通过 Flink UI 上传了 jar 文件，并且正在尝试使用 Flink REST API 启动作业。作业
如何让 Flink Operator State TTL 发挥作用
我无法让操作员状态 TTL 正常工作。我已将 TTL 设置为 5 分钟，因此在该时间之后，我希望状态被清除。当我注意到由于 TTL 而状态为空时...
如何在apache flink作业中传递--add-opens JVM选项
我有一个用 Java 17 编写的 Apache Flink，flink 版本为 1.18.1。 当我将作业提交到集群时， 它给了我以下错误 java.lang.RuntimeException：设置cu时发生异常...
基于key列表触发apache flink的ProcessWindow函数
我有一个奇怪的需求，我正在使用 Apache Flink 处理 Kafka 源的数据流。我想要进行有状态处理并保留无线之间所有已处理键的全局状态...
作为一名在电信数据公司工作2年的大数据工程师，我有Flink、Spark、Hive SQL、Shell脚本等方面的经验。我希望得到一些建议...
Apache Fink 和 Iceberg：无法处理数百种 RowData 类型
我有一个 Flink 应用程序，可以读取任意 AVRO 数据，将其映射到 RowData，并使用多个 FlinkSink 实例将数据写入 ICEBERG 表。我所说的任意数据是指我有 100 种类型...
Kubernetes 上的 Flink 会话集群中的外部依赖项出现 ClassNotFoundException
我目前正在使用 Flink Kubernetes Operator 在 Kubernetes 上部署 Flink 会话集群。我的 Flink 作业使用 DataStream API 进行逻辑，需要几个外部依赖...
Flink新手请教一个操作问题。 我有一个在应用程序模式下运行的简单 flink 应用程序：它从无界的 kafka 源消耗数据，运行 2 个带有一些简单逻辑和 st 的运算符...
Apache Flink 聚合：java.lang.OutOfMemoryError：java.lang.OutOfMemoryError：Java 堆空间
我正在 JVM 模式下运行 apache flink 作业，即以独立方式运行，没有 flink 集群。 我正在阅读 GCP pubsub 并在 1 小时的翻滚窗口中进行聚合。 当我部署...
使用 apache Flink 读取带键的 Kafka 记录？
我正在使用一个值+记录Kafka生产者，使用： bin/kafka-console- Producer.sh --topic test3 --property "parse.key=true" --property "key.separator=:" --bootstrap-server localhos...
本质上，我有一个 Flink DataStream，它从很少更改的 Kafka 主题中读取数据。 该主题包含以下记录 用户消费者标识符 { “用户id”：1， “消费者 ID”：1 ...
如何注册具有嵌套字段的 Flink Table schema？
我正在努力将 DataStream 注册为 StreamingTableEnvironment 中的 Flink 表。 我使用的语法如下： StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env); 表环境