Apache Flink是一个用于可扩展批处理和流数据处理的开源平台。 Flink在一个系统中支持批量和流分析。分析程序可以用Java和Scala中简洁优雅的API编写。
我正在尝试通过示例WordCount找出Flink中的插槽共享和并行性。说我需要使用Flink进行字数统计工作,因此只有一个数据源和一个接收器。 ...
我是Flink的新手,计划在具有1个作业管理器和5个任务管理器(每个任务管理器具有4个插槽)的EKS上部署Flink会话集群。将通过用户界面针对...
AggregateFunction + WindowProcessFunction状态的Flink检查点
我正在使用gregationFunction在10分钟的时间窗口内指望唯一对象。我想为窗口功能启用检查点,以防万一工作失败,我们不会丢失任何...
如何使用flink cep库检测冒泡模式?示例:假设设备存在一些问题,因此,它会连续发布诸如on,off之类的值。如果使用...
我想根据ID加入Customer和Address对象。这些是我对客户主题{“ id”:1,“名称”:“ Yogesh”} {“ id”:2,“名称”:“ Swati”} {“ id”:3,“名称”的输入:“ Shruti”} {“ ...
我是Flink的新手。据我了解,在Flink中,可以将一个TaskManager划分为多个插槽,可以为一个插槽分配多个任务,一个任务是一个线程。让我们看看...
我试图了解提交Flink作业之前需要考虑哪些重要功能。我的问题是并行度是多少,是否有上限(...
我已经阅读了许多有关此问题的文档,但仍然对以下两个概念感到困惑:插槽和任务。让我们看一下WordCount的示例。据我了解,每个黄色圆圈都是一个运算符,并且Flink ...
我们正在使用Flink 1.6.3并将检查点保留在CEPH中,一次只保留一个检查点,请使用增量方式并使用rocksdb。我们运行Windows的时间为3天,这意味着...
在Apache Flink中,我有一个元组流。让我们假设一个非常简单的Tuple1 。元组可以在其值字段中具有任意值(例如'P1','P2'等)。可能的集合...
我知道Flink使用检查点机制来保证完全一次。但我想知道更多细节。如果我是对的,那么每个操作员都有自己的检查点。我不明白这些检查点如何...
有什么方法可以将参数传递给Flink的运算符功能类的构造函数?
我正在研究Flink,我想构建一个运算符函数,该函数扩展ProcessWindowFunction并重载带有参数的新构造函数,作为类的字段值,但是当此类为...
我知道Apache Flink具有一次Exactly的能力,这取决于检查点机制和可重发的数据源。据我了解,如果Flink的运算符出现错误,...
Apache Flink使用类似于Apache Spark的DAG样式惰性处理模型(如果我错了,请纠正我)。话虽如此,如果我使用以下代码DataStream data = ...; DataStream [
我正在尝试连接两个流,首先要保留在MapValueState中:RocksDB将数据保存在检查点文件夹中,但是在新运行之后,状态为空。我在本地和flink群集中使用...
我正在尝试连接两个区域,首先是保留在MapValueState中:RocksDB将数据保存在chekpoint文件夹中,但是在新运行之后,stete为空。我在本地和flink群集中使用...
使用PrometheusPushGateway报告flink指标时从prometheus获取代码'200'
当我使用flink-metrics-prometheus_2.11-1.10.0.jar向Prometheus报告指标时,出现以下错误,我想知道此问题的原因以及如何解决此问题:2020-04-20 15:32:17 ....
是否可以将原型错误数据序列化为Avro并使用Apache Flink接收器写入文件?] >>
我有以下Flink作业,在其中尝试使用后端类型RockDB,环境.addSource(consumer).name(“ MyKafkaSource”)。uid(“ kafka-id”).flatMap的键流有状态函数(MapState) (...