flink-streaming 相关问题

Apache Flink是一个用于可扩展批处理和流数据处理的开源平台。 Flink在一个系统中支持批量和流分析。分析程序可以用Java和Scala中简洁优雅的API编写。

为什么运行示例flink应用会引发此错误?

我正在尝试运行https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/projectsetup/java_api_quickstart.html中描述的演示应用程序。我使用给定的脚本生成了项目:...

回答 1 投票 0

Apache Flink:.countWindow()是在发生许多事件后处理代码的正确方法吗?

在Apache Flink 1.8.1上,我正在阅读https://flink.apache.org/news/2015/12/04/Introducing-windows.html,我正在尝试确定是否使用countWindow(size:Int)适合我的用例:当N ...

回答 1 投票 0

如何将NATS Streaming Server与Apache flink一起使用?

我想使用NAT流服务器来流数据,而使用Flink希望对数据进行处理。如何使用apache flink与NATS流服务器一起处理实时流数据?

回答 1 投票 0

无法读取StateBackend Flink的_metadata

我刚刚创建了简单的flink应用程序并启用了检查点。我看到已创建检查点文件,但无法读取它们。文件包含无效字符。如何转换...

回答 1 投票 0

合并多个Flink DataStream的最佳方法是什么?

我正在寻找合并代表系统中不同事件起源的多个(> 20)Flink流的最佳方法,所有流都具有相同的类型。列表 > dataStreams = ...

回答 1 投票 0

在日志中,我看到KafkaTopicPartition不能用作POJO;这是什么意思?

不是错误,但我确实看到此行,根据消息可能会影响性能:2019-01-02 14:44:44,879信息org.apache.flink.api.java.typeutils.TypeExtractor-类org ... 。

回答 1 投票 0

使用MirrorMaker设置Kafka HA-如何在Flink中处理它?

我们正在为Kafka设置MirrorMaker 2.0。如果我理解正确,则复制群集中的主题偏移量不相等。对于普通的Kafka应用程序来说,这不是问题,因为消费者组可以复制...

回答 2 投票 2

Flink中的advanceToEndOfEventTime标志

我正在浏览JobClient的最新API,并且在stopWithSavepoint方法中看到advanceToEndOfEventTime标志。如果我理解正确,这将导致工作例如刷新基于时间的窗口。 ...

回答 1 投票 1

如何在Task Manager容器中注册TaskManager容器以进行flink?

第一次尝试使用flink docker映像。我正在遵循https://hub.docker.com/_/flink上的指示,该指示说您可以运行JobManager(主服务器)。 $ docker run --name ...

回答 1 投票 0

Flink数据源迭代

我正在尝试迭代数据源:val env = ExecutionEnvironment.getExecutionEnvironment env.setParallelism(1)val job = Job.getInstance FileInputFormat.addInputPath(...

回答 1 投票 0

Flink:将flink嵌入其他程序是什么意思?

将flink嵌入其他程序是什么意思?在此处的链接中-第二段中https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/api_concepts.html#basic-api-concepts表示...

回答 1 投票 0

StreamingFileSink批量编写器在AWS EMR中运行时会导致某些检查点错误

无法使用StreamingFileSink并以压缩方式存储传入事件。我正在尝试使用StreamingFileSink将无限事件流写入S3。在此过程中,我想压缩...

回答 1 投票 2

我如何创建假数据流,每隔一段时间进入Apache Beam管道?

我正在尝试创建小的Apache Beam流程序来测试想法,我认为获取数据最简单的方法是使用Create.of之类的框架结构来创建...]]

回答 1 投票 0

Flink MapState在TTL清除过程中清除映射键的所有值

我要求每个键的最后25秒值都保持在flink映射状态,但是TTL会在25秒后立即删除所有值。请参阅我的代码,在代码列表中包含...

回答 1 投票 0

kubernetes上的flink将外部jar加载到集群中

我正在kubernetes(会话群集)上部署一个flink集群,我想知道是否有任何配置(在flink-conf.yaml上),我会将外部jar加载到该集群。据我所知...

回答 1 投票 0

如果给flink的keyBy运算符提供不同的键,然后再滚动窗口,会发生什么

我的flink作业具有keyBy运算符,它以date〜clientId(date为yyyymmddhhMM,MM为分钟,5分钟后会改变)作为键。该运算符后面跟随5分钟的滚动窗口。我们有kafka ...

回答 1 投票 0

使用Flink时,字数始终在变化

我正在尝试使用flink创建单词计数示例。这是单词数据的链接(这是flink的github帐户的示例)当我用简单的Java程序计算单词时:public static ...

回答 1 投票 0

flink检查点时间与缓冲区对齐大小或对齐时间有何关系?

我的流媒体flink作业的检查点时间平均为2-3s(15-20%的时间)和3-4分钟(8-12%的时间),平均2分钟。我们有两个有状态的运算符。首先是kafka消费者作为来源(...

回答 1 投票 0

Apache Flink:可用任务插槽0

我已经通过Windows终端中的start-cluster.bat启动了Flink群集。使用一个JobManager进程和一个TaskManager进程启动本地集群。您可以终止进程...

回答 1 投票 0

如何加入流和数据集?

如何加入流和数据集?我有一个流,并且文件中有一个静态数据。我想使用文件中的数据来丰富流的数据。示例:在流中,我获取机场代码,在...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.