Apache Flink是一个用于可扩展批处理和流数据处理的开源平台。 Flink在一个系统中支持批量和流分析。分析程序可以用Java和Scala中简洁优雅的API编写。
我正在使用 Apache Flink 构建流处理器。 简而言之，我不知道为什么这一行： SingleOutputStreamOperator windowedStream = videoAdEventDataStream .windowAll(
在 tumblingProcessingTimeWindows 中不使用状态时检查点的大小越来越大
可以看到检查点的大小越来越大，并且永远不会减少。 在Web UI中，可以看到是TumblingProcessingTimeWindows引起的，我发现checkpoint的大小...
接受治疗时有什么需要特别注意的地方吗？ 定期的 K8s 维护过程，例如迁移/升级集群？ 为了具体起见，我通过...运行我的工作
使用数据集约束在 Apache Flink 的批处理模式下处理条件处理
我利用 Apache Flink 进行批处理模式文件处理。最初，我将 CSV 文件读入自定义对象 DataSet readCsvData。随后，我对...
Flink：联合多个kafka源并将它们合并在一起时哪种水印策略合适？
我是flink的新人。我有五个具有不同数据模式的无限卡夫卡源。我想减少消息，然后使用相同的密钥外部连接所有 kafka 源。 所以我使用 union 将它们组合在一起......
我们的 Apache-Flink 作业在 EMR 集群上运行，我们将日志生成到 EMR，因为日志的可用时间有限：如何将它们生成到 Cloudwatch？
我对Flink应用程序中水印的传播有一些疑问。我在文档和一些帖子中看到 Flink 选择最低的水印通过操作传播...
需要通过Flink（FlinkSQL）一次查询从Kafka和Hive读取数据
我想在 Flink 中运行异构查询，在一个查询中从 Kafka 读取多个表（数据写入 Kafka，以便您可以通过 FlinkSQL 连接它们），并从 Hive 读取多个表。 我...
使用基于键控状态的运算符处理流后，我们的流不能再保证是有序的。 因此，我实现了一个排序运算符，它利用处理时间窗口来
我尝试从 PyFlink 和 Kafka 开始，但出现以下错误。 感谢您的支持 ！ 安装 python -m pip 安装 apache-flink pip 安装 pyFlink 代码 从 pyFlink.datastream 导入
Flink 1.15：为 DataStream API 设置 BATCH 执行模式时出错
我正在使用 Flink 1.15 DataStream api 来执行 ETL 工作。我想设置我的作业集BATCH执行模式，所以我使用官方网站中提供的代码。 env.setRuntimeMode(RuntimeExecutionMode.BATCH); 然而...
创建 docker-compose.yml 文件（使用 flink、kafka、zookeeper） 创建Kafka Producer（使用faker python lib生产假数据） 创建 Flink Kafka Consumer 以从上面的 kafka 主题进行消费
我需要帮助使用更改后的架构恢复 flink 状态。 我目前的状态： 案例类 Player(id: Int, name: String) 私有变量playerState：ValueState [玩家] = _ 玩家状态 = ctx。
TumblingProcessingTimeWindow的最小时间间隔
当我设置TumblingProcessingTimeWindows.of(Time.milliseconds(100)))时，可以正确生成窗口。我在这里打印 windowStartTime 和 windowEndTime： 在此输入图像描述 但如果我
无法在 EKS docker 镜像上的 EMR 上启动 Flink SQL 客户端
我正在 EKS 上使用 EMR 的 Flink docker 镜像 - public.ecr.aws/emr-on-eks/flink/emr-6.15.0-flink:latest。当我尝试启动 SQL 客户端时，我看到以下错误。 （我没有看到这个错误
使用 GCP PubSub 源在 Flink 作业上获取 http2 异常
我有一个使用 GCP PubSub 作为源的 flink 作业。尽管我能够处理在 pubsub 主题上收到的消息，但我发现它存在一些问题： 已处理的消息较早...
在 flink-conf.yaml 中添加了一个参数： env.java.opts.taskmanager：“-agentlib：jdwp =传输= dt_socket，服务器= y，挂起= y，地址= 51005” 然后我开始了一个工作管理器和一个任务管理器...
ClassNotFoundException: org.apache.flink.client.CliFrontend 使用 flink 运行 jar 文件时
我已经在 Microsoft Windows 上下载了 Apache Flink 并运行了 start-local.sh。它有效，我可以通过导航到 http://localhost:8081/ 成功访问 Web 界面。 但当我尝试...
使用 DataStream API 外键加入 Apache Flink
免责声明：我正在为我的组织开发具有各种场景的 Apache Flink POC。我正处于学习阶段。 目前，我们正在使用 Kafka Streams（以及 KTable）来连接多个流......
在 Flink 文档中，我们被警告：“广播状态中的事件顺序可能因任务而异”。 如何实现跨任务具有一致广播状态的应用程序，