Apache Flink是一个用于可扩展批处理和流数据处理的开源平台。 Flink在一个系统中支持批量和流分析。分析程序可以用Java和Scala中简洁优雅的API编写。
我尝试了实时数据流项目，并使用 kafka、elasticsearch、kibana、postgres 以及 docker compose 和 flink。 我的数据流是这样的： kafka -> flink -> elasticsearch 和 postgres。 W...
Flink - kafka 连接器 OAUTHBEARER 类加载器问题
我尝试使用sasl机制（OAUTHBEARER）配置kafka身份验证（使用flink 1.9.2，kafka-client 2.2.0）。 当使用带有 SASL 身份验证的 Flink 时，出现以下异常。 卡夫卡是
org.apache.flink.client.program.ProgramInitationException：由于链接失败，无法加载程序的入口点类
我正在尝试向我的 Apache Flink Web 仪表板 (localhost:8081) 提交基本的 flink 作业。这是我的po- 我正在尝试向我的 Apache Flink Web 仪表板 (localhost:8081) 提交基本的 Flink 作业。这是我的pom- <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>com.flink</groupId> <artifactId>kafkaconsumer</artifactId> <version>1.0-SNAPSHOT</version> <properties> <maven.compiler.source>17</maven.compiler.source> <maven.compiler.target>17</maven.compiler.target> <target.java.version>1.8</target.java.version> </properties> <dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-clients</artifactId> <version>1.15.1</version> <scope>provided</scope> </dependency> </dependencies> <build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-shade-plugin</artifactId> <version>3.1.1</version> <executions> <!-- Run shade goal on package phase --> <execution> <phase>package</phase> <goals> <goal>shade</goal> </goals> <configuration> <createDependencyReducedPom>false</createDependencyReducedPom> <artifactSet> <excludes> <exclude>org.apache.flink:flink-shaded-force-shading</exclude> <exclude>org.slf4j:*</exclude> <exclude>org.apache.logging.log4j:*</exclude> </excludes> </artifactSet> <filters> <filter> <!-- Do not copy the signatures in the META-INF folder. Otherwise, this might cause SecurityExceptions when using the JAR. --> <artifact>*:*</artifact> <excludes> <exclude>META-INF/*.SF</exclude> <exclude>META-INF/*.DSA</exclude> <exclude>META-INF/*.RSA</exclude> </excludes> </filter> </filters> <transformers> <transformer implementation="org.apache.maven.plugins.shade.resource.ServicesResourceTransformer" /> <transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer"> <mainClass> com.flink.KafkaConsumer </mainClass> </transformer> </transformers> </configuration> </execution> </executions> </plugin> </plugins> </build> </project> 我的 jar 文件正在成功构建。这些是我罐子里的东西 - META-INF/MANIFEST.MF META-INF/ com/ com/flink/ com/flink/KafkaConsumer.class com/flink/Main.class META-INF/maven/ META-INF/maven/com.flink/ META-INF/maven/com.flink/kafkaconsumer/ META-INF/maven/com.flink/kafkaconsumer/pom.xml META-INF/maven/com.flink/kafkaconsumer/pom.properties 将我的作业 jar 文件提交到 Apache Flink Dashboard 时，我收到服务器错误 - org.apache.flink.client.program.ProgramInvocationException: The program's entry point class 'com.flink.KafkaConsumer' could not be loaded due to a linkage failure. 我哪里错了？请记住，我刚刚开始使用 Flink 并正在学习。 我认为您的 pom.xml 中缺少依赖项。我只能看到 flink-clients，但你至少需要 flink-streaming-java 阅读此处，如果你想使用 Kafka，则需要 kafka 连接器的依赖项。 如果您想使用数据格式（avro、orc、parquet...），您需要一个依赖项。 更多这里 如果您使用连接器（jdbc、kafka、nifi...）看这里
flink中sink数据到openSearch的过程中遇到502，如何让flink重试？
我有一个 flink 应用程序，它将读取数据并接收到 openSearch。现在它遇到了 502 Bad Gateway 并且崩溃了，没有像应该的那样重试。下面是源代码和调用堆栈，然后...
如何避免在写入固定窗口输出的 Google Dataflow 流管道中进行随机播放
希望实现一个 Dataflow（或 flink）流管道，从 pub-sub 读取数据，将数据转换为 parquet，并每隔几分钟写入输出。 这需要固定窗口吗？如果是的话...
我想在 flatMap 函数中创建一个 DataStream。但是，当我运行 dataStream.print() 时，它什么也没显示。这是我的代码： 公开课测试{ 静态 StreamExecutionEnvironment env =
如何理解Flink的exactly-once和at-least-once语义
我是 Flink 的新手，目前正在探索框架中的容错。我知道 Flink 提供了 Exactly-Once 和 At-Least-Once 语义来确保容错。 读完这篇文章后
Kafka 偏移量和 Flink 检查点之间的关系让我感到困惑。因此 Kafka 存储您读过的最后一条消息的偏移量。 Flink 之上还有检查点系统。但为什么我们...
如何在broadcastProcessFunction flink中同步数据流？
我在java 11上使用flink 1.81.1 api，我尝试使用BroadcastProcessFunction来过滤产品数据流，并将品牌授权的数据流作为广播。 所以我的第一个产品 Datastream
Flink BroadcastProcessFunction 与“广播变量”
在flink应用程序中，我需要将一个复杂的对象传递给所有下游运算符。我对此有两个想法： 广播处理函数 “广播变量” 你能建议我什么时候应该...
Iceberg 的 FlinkSink 不会更新流写入中的元数据文件
我一直在尝试使用Iceberg的FlinkSink来消费数据并写入sink。 我成功地从 kinesis 获取数据，并且我看到数据正在写入适当的
我尝试将flink数据流写入冰山表，如下所示： val kafkaStream = new KafkaDataSource(参数, new PacketSchema).getStream(env) val dataStream = kafkaStream.flatMap(new NullPacket...
“streaming”=“true”的 Flink SQL 选项不适用于 JOIN
我正在编写一个 Flink 作业，它将从 Iceberg 读取数据，执行连接，然后写入另一个 Iceberg 表。我的 SQL 可以工作，但只运行一次然后完成。阅读文档...
我正在考虑在 Flink 上下文中分布式跟踪。我有以下问题： 如何在 Flink 管道本身内部实现跟踪？也就是如何传播tr...
我正在做一个flink CDC + Iceberg的POC。我按照这个 debezium 教程将 cdc 发送到 kafka - https://debezium.io/documentation/reference/1.4/tutorial.html。 我的 flink 工作运行良好并且...
什么限制了 Apache Flink 中 ProcessFunctions 中定义的计时器数量及其最大持续时间？ Flink 如何处理大量（约 1 亿）长（24 小时）计时器？ ...
当事件时间在 ts 到 ts -1 分钟之间的所有消息中满足条件时，kafka 会生成消息
我想要处理kafka消息，考虑到eventTime，我在其中接收非线性格式的数据 我想在收到以下 JSON 格式的消息后，如果我得到一个
java.lang.ClassNotFoundException：Kubernetes Flink 会话作业的 org.apache.hadoop.conf.Configuration
我通过 Helm Operator 将 Flink 部署到 Kubernetes 集群。我启用了 flink-s3-f2-hadoop 插件： # 来源：flink-demo/templates/flink-session-cluster.yaml api版本：flink.apache.org/v1beta1
我想在依赖于 Numba (>= 0.50) 的 UDF 中使用 Python 库（pyod，最新）。我用 Python 创建了一个聚合 UDF，我对这个概念并不陌生。 我在使用过程中遇到错误...
我尝试使用java api测试Apache Flink的简单处理功能。 IDE：Visual Studio 代码 1.87.1 弗林克：1.18.1 CountWithTimestamp.java 公共类 CountWithTimestamp { 公共字符串密钥...