flink-streaming 相关问题

Apache Flink是一个用于可扩展批处理和流数据处理的开源平台。 Flink在一个系统中支持批量和流分析。分析程序可以用Java和Scala中简洁优雅的API编写。

Flink流媒体事件时间窗口

我正在运行一个基于EventTime测试窗口的简单示例。我可以使用处理时间生成输出,但是当我使用EventTime时,没有输出。请帮我理解我...

回答 1 投票 1

Flink在timeWindow上应用函数

我正在做一个Flink项目。该项目的主要思想是读取JSON的数据流(网络日志),关联它们,并生成一个新的JSON,它是不同JSON的组合......

回答 1 投票 0

Flink中的Redis连接重置

我有一个类在我的Flink流作业中扩展了RichFlatmapFunction。我在open()方法中创建一个Jedis实例并在close()方法中关闭它(jedis.close()),以便所有记录......

回答 1 投票 0

Apache Flink:如何将源中的模式应用到另一个数据流?

我有一个事件的数据流,以及另一个模式的数据流。用户在运行时提供模式,他们需要通过Kafka主题。我需要在...上应用每个模式

回答 1 投票 0

使用WindowStream.apply()函数无法应用WindowFunction

我使用Apache Flink和Scala相对较新,我只是掌握了一些基本功能。我试图实现自定义WindowFunction。问题是 ...

回答 1 投票 2

Flink:总结所有分区结果的最佳方法是什么

数据流被分区并分发到每个插槽以进行处理。现在我可以得到每个分区任务的结果。将某些函数应用于...的结果的最佳方法是什么?

回答 1 投票 1

Flink:Clustermanager失去的Cluster Execution错误

我在Flink上运行实时流媒体程序,有1名主人和2名工人。一个工作程序在单独的计算机上运行, 而另一个工作程序在主计算机上运行。我是 ...

回答 2 投票 1

Flink参考数据建议/最佳实践

寻找有关存储/访问Flink参考数据的位置的一些建议。这里的用例非常简单 - 我有一个包含国家列表的列文本文件。我正在播放Twitter数据,然后......

回答 1 投票 1

Flink CEP国营商店

Flink CEP如何管理间歇性状态?它存放在哪里?它只是在内存中还是有支持状态的快速持久存储?文档没有提到这个......

回答 1 投票 3

Flink的CoProcessFunction不会触发onTimer

我尝试聚合两个流,如val joinedStream = finishResultStream.keyBy(_。searchId).connect(startResultStream.keyBy(_。searchId))。process(new SomeCoProcessFunction)然后......

回答 2 投票 0

Apache Flink中的TimeCharacteristics和TimerService

我目前正在编写关于Apache Flink中的流处理的本教程,并且对于StreamEnvironment的TimeCharacteristics如何影响数据值的顺序有点困惑...

回答 1 投票 0

在Flink中检查事件时间水印

我们正在接受一个号码的活动。独立数据源,因此,到达我们的Flink拓扑(通过Kafka)的数据将是无序的。我们正在创建1分钟的活动时间窗...

回答 1 投票 2

FLINK:如何使用相同的StreamExecutionEnvironment从多个kafka集群中读取

我想从FLINK中的多个KAFKA集群中读取数据。但结果是kafkaMessageStream只从第一个Kafka读取。只有我有2个才能从两个Kafka集群中读取...

回答 1 投票 2

如何从Apache Flink写入Elasticsearch

我正在尝试将Flink连接到Elasticsearch,当我运行Maven项目时,我有这个错误:或者另一种方法,我使用这个例子:https://github.com/keiraqz/KafkaFlinkElastic

回答 1 投票 2

尝试升级到flink 1.3.1时出现异常

我尝试将我的群集中的flink版本升级到1.3.1(以及1.3.2)并且我的任务管理器中出现以下异常:2018-02-28 12:57:27,120 ERROR org.apache.flink。 streaming.runtime ....

回答 1 投票 4

Flink:在Flink集群上执行Jar文件

我在2个不同的物理节点上使用flink集群和9个任务管理器。当我将罐子提交给Flink的Jobmanager(Master)时,罐子究竟发生了什么。我的意思是,罐子得到了......

回答 1 投票 1

如何使用flink流式传输json?

我实际上正在处理一个流,收到一堆字符串,需要计算所有字符串。总和是加重的,这意味着第二个记录的总和被添加到前一天...

回答 1 投票 1

为Yarn Cluster中的Flink Job设置Flink Checkpoint的路径动态

我正在使用Yarn来运行Flink作业。对于每个Flink工作,我正在创建一个检查点。我提交了一个在我的Yarn集群中运行的Flink作业。我有一个民意调查工作,检查工作是否在纱线上失败...

回答 1 投票 0

如何使用Apache Flink阅读Cassandra?

我的flink程序应该对每个输入记录进行Cassandra查找,并根据结果进行一些进一步的处理。但我目前仍在阅读Cassandra的数据。这是......

回答 1 投票 0

Flink如何处理不适合内存的窗口和分区?

在阅读了Flink如何管理内存之后,传递给DataSet#mapPartitions或KeyedWindowedStream #process的输入是否是一个惰性集合仍然不明显。有......

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.