flink-streaming 相关问题

Apache Flink是一个用于可扩展批处理和流数据处理的开源平台。 Flink在一个系统中支持批量和流分析。分析程序可以用Java和Scala中简洁优雅的API编写。

如何理解Apache Flink中的插槽共享和并行性

我正在尝试通过示例WordCount找出Flink中的插槽共享和并行性。说我需要使用Flink进行字数统计工作,因此只有一个数据源和一个接收器。 ...

回答 1 投票 0

EKS实例故障和恢复中的Flink生产会话集群

我是Flink的新手,计划在具有1个作业管理器和5个任务管理器(每个任务管理器具有4个插槽)的EKS上部署Flink会话集群。将通过用户界面针对...

回答 1 投票 0

AggregateFunction + WindowProcessFunction状态的Flink检查点

我正在使用gregationFunction在10分钟的时间窗口内指望唯一对象。我想为窗口功能启用检查点,以防万一工作失败,我们不会丢失任何...

回答 1 投票 0

如何使用flink cep库检测语模式

如何使用flink cep库检测冒泡模式?示例:假设设备存在一些问题,因此,它会连续发布诸如on,off之类的值。如果使用...

回答 1 投票 0

为什么我的flink程序不加入两个流?

我想根据ID加入Customer和Address对象。这些是我对客户主题{“ id”:1,“名称”:“ Yogesh”} {“ id”:2,“名称”:“ Swati”} {“ id”:3,“名称”的输入:“ Shruti”} {“ ...

回答 2 投票 0

经过与密钥流广播流的连接后,密钥流的输出流是吗?

经过与广播流的连接,然后经过过程功能后,键控流的输出流仍然是键控流吗?

回答 1 投票 0

Apache Flink中的一个任务是一个线程

我是Flink的新手。据我了解,在Flink中,可以将一个TaskManager划分为多个插槽,可以为一个插槽分配多个任务,一个任务是一个线程。让我们看看...

回答 1 投票 0

为什么并行执行Flink作业= 1?

我试图了解提交Flink作业之前需要考虑哪些重要功能。我的问题是并行度是多少,是否有上限(...

回答 1 投票 0

如何理解Apache Flink中的插槽和任务

我已经阅读了许多有关此问题的文档,但仍然对以下两个概念感到困惑:插槽和任务。让我们看一下WordCount的示例。据我了解,每个黄色圆圈都是一个运算符,并且Flink ...

回答 1 投票 0

Flink增量检查点-数据在共享文件夹中保存多长时间

我们正在使用Flink 1.6.3并将检查点保留在CEPH中,一次只保留一个检查点,请使用增量方式并使用rocksdb。我们运行Windows的时间为3天,这意味着...

回答 1 投票 1

如何根据数据将一个数据流输出到不同的输出?

在Apache Flink中,我有一个元组流。让我们假设一个非常简单的Tuple1 。元组可以在其值字段中具有任意值(例如'P1','P2'等)。可能的集合...

回答 1 投票 19

如何正确理解Flink中的检查点

我知道Flink使用检查点机制来保证完全一次。但我想知道更多细节。如果我是对的,那么每个操作员都有自己的检查点。我不明白这些检查点如何...

回答 1 投票 0

有什么方法可以将参数传递给Flink的运算符功能类的构造函数?

我正在研究Flink,我想构建一个运算符函数,该函数扩展ProcessWindowFunction并重载带有参数的新构造函数,作为类的字段值,但是当此类为...

回答 1 投票 0

一次:谁存储历史数据,flink或数据源

我知道Apache Flink具有一次Exactly的能力,这取决于检查点机制和可重发的数据源。据我了解,如果Flink的运算符出现错误,...

回答 1 投票 0

分区前的Flink过滤器

Apache Flink使用类似于Apache Spark的DAG样式惰性处理模型(如果我错了,请纠正我)。话虽如此,如果我使用以下代码DataStream data = ...; DataStream [

回答 1 投票 0

Flink状态为空(重新运行后重新初始化)

我正在尝试连接两个流,首先要保留在MapValueState中:RocksDB将数据保存在检查点文件夹中,但是在新运行之后,状态为空。我在本地和flink群集中使用...

回答 1 投票 0

Flink状态在重新运行后初始化

我正在尝试连接两个区域,首先是保留在MapValueState中:RocksDB将数据保存在chekpoint文件夹中,但是在新运行之后,stete为空。我在本地和flink群集中使用...

回答 1 投票 0

使用PrometheusPushGateway报告flink指标时从prometheus获取代码'200'

当我使用flink-metrics-prometheus_2.11-1.10.0.jar向Prometheus报告指标时,出现以下错误,我想知道此问题的原因以及如何解决此问题:2020-04-20 15:32:17 ....

回答 1 投票 0

将原型数据转换为avro-Apache Flink

是否可以将原型错误数据序列化为Avro并使用Apache Flink接收器写入文件?] >>

回答 1 投票 0

Flink可重新缩放键控流有状态功能

我有以下Flink作业,在其中尝试使用后端类型RockDB,环境.addSource(consumer).name(“ MyKafkaSource”)。uid(“ kafka-id”).flatMap的键流有状态函数(MapState) (...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.