apache-flink 相关问题

Apache Flink是一个用于可扩展批处理和流数据处理的开源平台。 Flink在一个系统中支持批量和流分析。分析程序可以用Java和Scala中简洁优雅的API编写。

Flink中的水印和触发器之间有什么区别?

我读到了,“..订购操作员必须缓冲它收到的所有元素。然后,当它收到水印时,它可以对所有时间戳低于水印的元素进行排序,并且...

回答 2 投票 0

Flink多槽TaskManagers最佳实践

假设一个运行集群设置为并 行> 1.在任务管理器中配置任务槽数的最佳做法是什么?每个运行一个任务槽运行多个TM运行...

回答 1 投票 0

Apache Flink - 事件时间窗口

我想在Apache flink中创建键控窗口,以便每个键的窗口在键的第一个事件到达后n分钟执行。是否可以使用活动时间完成...

回答 2 投票 0

如何检查字符串是否是flink sql中的数字

在flink sql中,如何检查字符串是否为数字,如select * from input其中str为'\\ d +',正则表达式似乎没用,而'similar to'运算符也无法工作。是......

回答 1 投票 0

为什么我的Flink SQL查询具有非常不同的检查点大小?

在我的项目中使用Flink Table SQL时,我发现如果我的SQL中有任何GROUP BY子句,检查点的大小将大大增加。例如,INSERT INTO COMPANY_POST_DAY SELECT ...

回答 1 投票 0

上下文由Window操作创建的DataStream中的时间戳

我们假设我有一个inputStream,并对其执行一些窗口操作。通过对其执行某些窗口操作而创建的事件的时间戳是什么。 .... 数据流 ...

回答 2 投票 0

Apache Flink流程多次流

我正在尝试使用Apache Flink使用两种不同的算法处理数据流。我的伪代码如下:env = getEnvironment();数据流 inputStream = getInputStream(); / ...

回答 1 投票 0

如何将Flink作业与Guava缓存并行化?

我写了一个使用Guava缓存的Flink作业。缓存对象是在main()函数中调用的run()函数中创建和使用的。它类似于:main(){run(some,params)} run()...

回答 2 投票 0

Flink JDBC连接多个租户

我有2节课。主类是Aloscalculation,它有一个变量finalOutput,它包含某些values.DataSet > finalOutput ....

回答 1 投票 1

FlinkKafakProducer的numRecordsOut始终显示0,同时有写入Kafka主题的消息

我设置了一个Flink工作,将一些消息写入Kafka主题。它使用FlinkKafakProducer作为接收器。我验证了有消息写入输出Kafka主题,但Flink指标...

回答 1 投票 1

Flink GlobFilePathFilter,如何在包含的模式中设置特定的包含文件

GlobFilePathFilter globFilePathFilter = new GlobFilePathFilter(Collections.singletonList(“**”),Collections.singletonList(“**。zip”));无法设置其他包括...

回答 1 投票 0

为什么flink不会丢弃后期数据?

我正在计算一个简单蒸汽的最大值,结果是:(S1,1000,S1,值:999)(S1,2000,S1,值:41)最后一行数据显然是晚了:新的SensorReading(“ S1“,999,100L)......

回答 1 投票 0

如何用Fro将Avro格式的数据写入Kafka?

为了从Kafka读取Avro数据,我们有AvroDeserializationSchema。但是写作呢?

回答 1 投票 0

当设置大于默认并行度的运算符并行度时,Flink任务槽不均匀分布

我正在一个包含3个任务管理器的集群上运行Flink作业(在3个Kubernetes pod之上)。 Job的默认并行度为9,其中一个运算符设置为并行18. Job的任务数量......

回答 1 投票 0

从Apache Flink RabbitMQ源连接器访问消息属性

我正在使用Apache Flinke 1.7.2 RabbitMQ连接器:https://ci.apache.org/projects/flink/flink-docs-stable/dev/connectors/rabbitmq.html我想访问amqp消息属性中的message_id。 ..

回答 1 投票 1

Flink - 如何实现自定义会话窗口,在特定事件和某些会话时间之后触发创建窗口?

我的输入流类型= 1,时间= 10,开始= 123,其他参数类型= 2,时间= 11,开始= 123,其他参数类型= 2,时间= 12,开始= 123,其他参数类型= 1,时间= 13,start = 235,其他params type = 2,time = 14,...

回答 1 投票 1

为什么我无法在Prometheus仪表板上查看Flink指标?

我将Apache Flink配置为通过conf / flink-conf.yaml文件向Prometheus发送指标:metrics.reporter.prom.class:org.apache.flink.metrics.prometheus.PrometheusReporter metrics.reporter ....

回答 1 投票 0

带有onEventTime触发器的Flink会话窗口?

我想在Flink中创建一个基于EventTime的会话窗口,这样当新消息的事件时间比消息的事件时间大180秒时触发它...

回答 1 投票 0

Flink CEP贪心匹配

我和Flink CEP贪婪的运营商有一场战斗。给出以下java代码:final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();名单&...

回答 2 投票 0

阅读文本文件flink

嗨,我是Flink的新手我试图读取文本文件,当我打印它时,它似乎是未分类的。这是正常的吗?为什么不订购?有一种方法可以对它进行排序吗?原始文本文件是:...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.