Apache Flink是一个用于可扩展批处理和流数据处理的开源平台。 Flink在一个系统中支持批量和流分析。分析程序可以用Java和Scala中简洁优雅的API编写。
我一直在尝试使用窗口类型 TumblingProcessingTimeWindows 测试 apache flink 中的 windowAll 操作，但是当我尝试从接收器检索结果时，它们始终为 0。使用
`开始从kafka读取数据 对不支持的类型使用 Any：typing.Sequence[~T] 回溯（最近一次调用最后一次）： 文件“C: link-1.19.0-bin-scala_2.12 link-1.19.0 xamples\python\datast...
如果我在将某个操作符保持在状态一段时间后发出一个事件，如果它超过了水印，下游操作符会接受它吗？
我有一个由两个来源组成的 flink 作业。 两个源通过连接键关闭，并且处理函数连接两个流。有时数据可能会延迟 15 分钟。所以我持有...
如何从旧的外部检查点启动已取消的 Apache Flink 作业
我正在运行一个 apache Flink 流作业，它消耗来自一个 kafka 集群的事件并生成到另一个 kafka 集群。我已经将检查点外部化，以便可以恢复状态......
Apache Flink 中 RoundRobin 分区的实现
嗨，我想在 ApacheFlink 中为运算符实现 RoundRobin 实现，在继续之前我想先说一下，我很清楚这已经在 Flink 中实现了，但是......
我无法在 Visual Studio Codes maven 中访问 java pojo。 操作系统：Windows 11 JDK：开放jdk 17.0.2 maven：apache-maven 3.9.6 apache flink ：1.18.1（安装在 WSL 2 ubuntu 上） 视觉工作室鳕鱼...
我正在尝试在 apache flink 中使用窗口实现自定义分区。目前我有以下内容： 数据流> split = 运算符聚合流 ...
如果表有更新插入，带有 Iceberg 快照流的 Flink SQL 不会做出反应
我定义了一些 Iceberg v2 表和一个 Flink 作业，该作业在转换为另一个 Iceberg 表之前以流式传输方式读取它们。 如果源表是基本的，那么订阅它们......
尝试在Flink中运行pyflink Word_count.py时出现执行错误
我最近一直在尝试pyflink api，我想在datastream目录中执行给定的word_count示例，但最终出现以下错误 python3 示例/python/
假设我有一组具有不同功能（即不同的CPU、内存等）的机器。有什么方法可以确定要运行的特定操作员（或任务）的位置？难道是……
在类路径中找不到任何实现“org.apache.flink.table.delegation.ExecutorFactory”的工厂
我正在尝试执行 flink 的表 API 并收到以下错误： 线程“main”中的异常 org.apache.flink.table.api.ValidationException：找不到任何实现的工厂...
我正在使用 Flink 1.18 和 Java，并且我正在尝试使用用户定义的表聚合函数 (UDTAGG)。该文档仅包含 UDTAGG 的表 API 示例。 然而，当我尝试实现时...
在 Apache Http 异步客户端中处理 DeadlineTimeoutException 或 ConnectionClosedException
我正在向在 AWS Managed Flink 上运行的 Apache Flink 项目添加一个接收器 (RichSinkFunction)，该项目通过 REST 调用 (Http POST) 将数据发送到 Http Web 服务。 为了提高性能，我正在使用...
我尝试了实时数据流项目，并使用 kafka、elasticsearch、kibana、postgres 以及 docker compose 和 flink。 我的数据流是这样的： kafka -> flink -> elasticsearch 和 postgres。 W...
Flink - kafka 连接器 OAUTHBEARER 类加载器问题
我尝试使用sasl机制（OAUTHBEARER）配置kafka身份验证（使用flink 1.9.2，kafka-client 2.2.0）。 当使用带有 SASL 身份验证的 Flink 时，出现以下异常。 卡夫卡是
org.apache.flink.client.program.ProgramInitationException：由于链接失败，无法加载程序的入口点类
我正在尝试向我的 Apache Flink Web 仪表板 (localhost:8081) 提交基本的 flink 作业。这是我的po- 我正在尝试向我的 Apache Flink Web 仪表板 (localhost:8081) 提交基本的 Flink 作业。这是我的pom- <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>com.flink</groupId> <artifactId>kafkaconsumer</artifactId> <version>1.0-SNAPSHOT</version> <properties> <maven.compiler.source>17</maven.compiler.source> <maven.compiler.target>17</maven.compiler.target> <target.java.version>1.8</target.java.version> </properties> <dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-clients</artifactId> <version>1.15.1</version> <scope>provided</scope> </dependency> </dependencies> <build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-shade-plugin</artifactId> <version>3.1.1</version> <executions> <!-- Run shade goal on package phase --> <execution> <phase>package</phase> <goals> <goal>shade</goal> </goals> <configuration> <createDependencyReducedPom>false</createDependencyReducedPom> <artifactSet> <excludes> <exclude>org.apache.flink:flink-shaded-force-shading</exclude> <exclude>org.slf4j:*</exclude> <exclude>org.apache.logging.log4j:*</exclude> </excludes> </artifactSet> <filters> <filter> <!-- Do not copy the signatures in the META-INF folder. Otherwise, this might cause SecurityExceptions when using the JAR. --> <artifact>*:*</artifact> <excludes> <exclude>META-INF/*.SF</exclude> <exclude>META-INF/*.DSA</exclude> <exclude>META-INF/*.RSA</exclude> </excludes> </filter> </filters> <transformers> <transformer implementation="org.apache.maven.plugins.shade.resource.ServicesResourceTransformer" /> <transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer"> <mainClass> com.flink.KafkaConsumer </mainClass> </transformer> </transformers> </configuration> </execution> </executions> </plugin> </plugins> </build> </project> 我的 jar 文件正在成功构建。这些是我罐子里的东西 - META-INF/MANIFEST.MF META-INF/ com/ com/flink/ com/flink/KafkaConsumer.class com/flink/Main.class META-INF/maven/ META-INF/maven/com.flink/ META-INF/maven/com.flink/kafkaconsumer/ META-INF/maven/com.flink/kafkaconsumer/pom.xml META-INF/maven/com.flink/kafkaconsumer/pom.properties 将我的作业 jar 文件提交到 Apache Flink Dashboard 时，我收到服务器错误 - org.apache.flink.client.program.ProgramInvocationException: The program's entry point class 'com.flink.KafkaConsumer' could not be loaded due to a linkage failure. 我哪里错了？请记住，我刚刚开始使用 Flink 并正在学习。 我认为您的 pom.xml 中缺少依赖项。我只能看到 flink-clients，但你至少需要 flink-streaming-java 阅读此处，如果你想使用 Kafka，则需要 kafka 连接器的依赖项。 如果您想使用数据格式（avro、orc、parquet...），您需要一个依赖项。 更多这里 如果您使用连接器（jdbc、kafka、nifi...）看这里
flink中sink数据到openSearch的过程中遇到502，如何让flink重试？
我有一个 flink 应用程序，它将读取数据并接收到 openSearch。现在它遇到了 502 Bad Gateway 并且崩溃了，没有像应该的那样重试。下面是源代码和调用堆栈，然后...
如何避免在写入固定窗口输出的 Google Dataflow 流管道中进行随机播放
希望实现一个 Dataflow（或 flink）流管道，从 pub-sub 读取数据，将数据转换为 parquet，并每隔几分钟写入输出。 这需要固定窗口吗？如果是的话...
我想在 flatMap 函数中创建一个 DataStream。但是，当我运行 dataStream.print() 时，它什么也没显示。这是我的代码： 公开课测试{ 静态 StreamExecutionEnvironment env =
如何理解Flink的exactly-once和at-least-once语义
我是 Flink 的新手，目前正在探索框架中的容错。我知道 Flink 提供了 Exactly-Once 和 At-Least-Once 语义来确保容错。 读完这篇文章后