flink-streaming 相关问题

Apache Flink是一个用于可扩展批处理和流数据处理的开源平台。 Flink在一个系统中支持批量和流分析。分析程序可以用Java和Scala中简洁优雅的API编写。

Flink从Hadoop读取数据并发布到Kafka

我需要从HDFS读取数据并将其发布到Kafka主题。因为它们是DataSet和DataStream API的一部分,是否可以在单个作业中完成我要查找的内容?

回答 1 投票 0

Flink:数据流到表

用例:从Kafka读取protobuf消息,反序列化它们,应用一些转换(展平一些列),然后写入dynamodb。不幸的是,Kafka Flink连接器仅支持-csv,...

回答 1 投票 2

什么是Apache Flink累加器?

我试图浏览apache flink文档,但是我无法理解累加器的确切功能。假设某项作业从订单流中读取,这些订单中有商品计数且...

回答 1 投票 0


如何使用flink-streaming生成电源关闭警报

如何使用flink-streaming生成断电警报。 e.x:我有一个站点,可以通过kafka将数据发送到flink-job。假设,我们在1992年4月26日10:23:52收到该站点的数据后,...

回答 1 投票 0

如果我们将一个返回布尔值的函数传递给Flink CEP的where子句,它将以分布式方式工作?

我正在使用Flink CEP模块,并且想知道是否将函数传递给where子句,该子句将返回Boolean,无论它是否以分布式方式工作。示例-:val pattern = Pattern ....

回答 1 投票 0

Flink-Cassandra连接器引发异常(flink-connector-cassandra_2.11-1.10.0)

我正在尝试将flink 1.7.2升级到flink 1.10,并且cassandra连接器出现问题。每次我开始使用它的工作时,都会引发以下异常:com.datastax.driver.core ....

回答 1 投票 2

Flink检查点导致背压

我有一个Flink作业,以大约200k qps的速度处理数据。没有检查点,作业运行正常。但是,当我尝试添加检查点(间隔为50分钟)时,它会在第一个任务时造成反压力,...

回答 1 投票 0

Flink重新平衡和链接策略

背景我们正在使用dataStream.rebalance()在分区上创建相等的负载。但是,我们通常将链接策略设置为HEAD,例如,以允许多线程转换...

回答 1 投票 0

MapState不在Flink java中存储与EventTimeSessionWindows的先前会话

我需要将上一个会话与同一用户的不同会话的平均值进行比较。我正在使用MapState保留上一个会话,但是不知何故mapstate从未包含任何先前的键,...

回答 1 投票 1

如何在不删除先前值的情况下更新MapState上的值?

我这次的问题是:使用MapState,使用mapstate.put(key,value)将键的当前值修改为mapState是安全的,否则我需要执行mapState.remove(key) ...

回答 1 投票 0

将ProcessWindowFunction与Flink中的广播流连接的正确方法是什么?

我有一个运行多个模型的flink管道,因此窗口显示如下:DataStream AggregatedWindow = keyedStream ...

回答 1 投票 0

MapState不在Flink java中存储与EventTimeSessionWindows的上一个会话

我需要获取上一个会话进行比较,并从同一用户的不同会话中获取平均值。为此,我正在使用MapState保留上一个会话,但是以某种方式mapstate永远不会...

回答 2 投票 0

Flink:将流与静态列表左连接

我想将尝试流加入到被阻止电子邮件的静态列表中,并按IP将结果分组,因此以后我可以计算一堆相关统计信息。结果应以滑动窗口的形式提供...

回答 1 投票 1

Apache Flink中的有状态函数

我研究了Apache Flink的新的Stateful Functions 2.0 API。我阅读了以下文档链接https://ci.apache.org/projects/flink/flink-statefun-docs-stable/。我也在Git回购中运行了示例。 (https:/ ...

回答 1 投票 1

Apache Flink相关/缓存数据选项

这是一个非常广泛的问题,我是Flink的新手,正在研究将其替换为当前分析引擎的可能性。场景是从各种设备收集的数据,...

回答 1 投票 0

如何处理Apache Flink中的瞬态/应用程序故障?

我的Flink处理器侦听Kafka,并且处理器中的业务逻辑涉及调用外部REST服务,并且服务可能会关闭。我想重播...

回答 1 投票 0

在流处理中从大型数据集过滤

我正在开发流应用程序,输入流是一系列事件。对于每个事件,我需要从关系数据库中过滤掉有效的订户。 eventId =>(eventId,[...

回答 1 投票 -1

如何使用Flink Cassandra连接器写入管理Cassandra服务?

我可以使用以下代码段连接到AWS Managed Cassandra Service。 CassandraSink.addSink(cassandraEntityStream).setClusterBuilder(new ClusterBuilder(){...

回答 1 投票 0

Flink会话窗口,最终获得结果

[我有一个类似以下模式的kafka消息:{用户:'someUser',值:'SomeValue',timestamp:000000000}使用Flink流计算,可以对这些项目进行人员计数。 ...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.