apache-flink 相关问题

Apache Flink是一个用于可扩展批处理和流数据处理的开源平台。 Flink在一个系统中支持批量和流分析。分析程序可以用Java和Scala中简洁优雅的API编写。

除了脂肪罐之外的所有东西都在dockerized flink cluster中失败了

我有一个容器化的flink集群,有一个独立的JobManager和2个任务管理器。当我提交一个只需要我需要的连接器和我的代码的胖罐子时,一切都运行正常,但只有我的......

回答 1 投票 0

Flink:如何仅在第一个元素上启动CustomTrigger中的处理时间计时器?

我正在为我的应用程序使用GlobalWindow和自定义Trigger。根据要求,在Trigger函数中,我只需要在窗口的第一个元素上启动一个处理时间计时器。一世 ...

回答 1 投票 0

当并行度大于1时,Flink不转发Kafka指标

我有一个Flink工作,从Kafka(v0.9)读取并写入Redis。我想监视Faf应该能够转发的Kafka发出的记录消耗率和记录滞后最大度量。在......

回答 1 投票 0

在WindowedStream中查找计数 - 快速

我在Streams的世界里很新,我在第一次尝试时遇到了一些问题。更具体地说,我试图使用Flink在滑动窗口中实现count和groupBy功能。一世 '...

回答 2 投票 0

无法为Scala 2.12编译Flink 1.7.2:Maven enforcer发现禁止的依赖项

我正在尝试为Scala 2.12编译Flink 1.7.2,以获取AWS Kinesis连接器,该连接器被排除在二进制分发之外,如此处所述。我从这里下载了源代码......

回答 1 投票 0

Flink恢复订单

我想知道有关flink恢复阶段的一些细节。运营商独立加载状态然后恢复?或者按拓扑运算符的顺序,首先加载状态...

回答 1 投票 0

Apache Flink:IDE执行中的作业恢复无法按预期工作

我有一个用Flink(Scala)编写的示例流式WordCount示例。在其中,我想使用外化检查点来恢复以防失败。但它没有按预期工作。我的代码是......

回答 1 投票 0

Flink Table API:连接具有重叠字段名称的表

我想使用Flink Table API在同一个字段上连接两个表。我想实现SELECT a.id b.id FROM table1 AS a JOIN table2 AS b ON a.id = b.id我试过,但发现...

回答 1 投票 1

一个流中几个不同字段的平均值

我还没有选择流媒体框架,但我现在正在搞乱Flink。但是,我愿意使用Beam,Spark Streaming,无论我想出什么都适合我的用例。你会怎么做......

回答 1 投票 0

如何使用Apache Flink查找数据?

。嗨,使用Apache Flink 1.8。我有一个来自Kafka的记录流作为JSON并过滤它们并且一切正常。现在,我想通过查询来丰富Kafka的数据......

回答 1 投票 1

Apache Flink错误检查点到S3

我们在EMR集群上运行Apache Flink(1.4.2)。我们正在检查S3存储桶,并通过流量每秒推送大约5,000条记录。我们最近看到以下错误...

回答 1 投票 0

Apache Flink ListState vs ValueState >

查看文档,似乎我可以使用ListState或ValueState >存储状态。例如下面的代码://使用ListState ListStateDescriptor&...

回答 1 投票 1

用于flink中事件时间特征的滑动窗口

我是Flink的新手,需要帮助。我有时间粒度为5分钟的事件流。我想通过使用最近1小时数据的历史事件调用rest API来获取事件的元数据...

回答 1 投票 0

输入apache_beam.examples.wordcount

我试图运行梁Python-SDK示例,但我在阅读输入时遇到了问题。当我使用gs时,https://cwiki.apache.org/confluence/display/BEAM/Usage+Guide#UsageGuide-RunaPython-SDKPipeline:...

回答 1 投票 0

Flink如何为运营商保存状态?

我在我的Flink作业中有检查点设置,它有2个滑动窗口(这些不是连接)和1个翻滚窗口连接。我的想法是,我真的不需要为连接本身保存状态......

回答 2 投票 0

如何从flink中的本地套接字消费,在端口号后面有“/ *”,其中*是源的其余部分?

我是apache-flink的新手,我需要处理来自akka本地scoket的一些数据,这些数据正在流式传输到'ws:// localhost:9000 / ws'在flink API中,我只能找到一个名为'socketTextStream'的函数...

回答 1 投票 0

flink如何将特征反序列化为大小写

我正在使用Flink的(1.7.2)kafka消费者。如何反序列化扩展相同特征的几个案例类?例如import spray.json。{DefaultJsonProtocol,RootJsonFormat} trait Foo case class Boo(...

回答 1 投票 0

如何从选定的源(不一定是最后一个检查点)重启后恢复状态

我一直试图从以前的检查点重新启动我的Apache Flink而没有太多运气。我已将代码上传到GitHub,这是主要的类:https://github.com/edu05/wordcount/blob/restart/src / ...

回答 1 投票 0

Flink SQL是否支持Java Map类型?

我正在尝试使用Flink的SQL API从地图访问密钥。它在线程“main”中出现错误异常org.apache.flink.table.api.TableException:不支持类型:ANY请告知如何...

回答 2 投票 1

Apache Flink:如何将流传输到Google云存储文件系统

我正在尝试将一些数据流写入Google云存储文件系统中的文件,如下所示(使用Flink 1.8和Scala 2.11):data.addSink(new BucketingSink [(String,Int)](“gs:// url-try /尝试....

回答 1 投票 2

© www.soinside.com 2019 - 2024. All rights reserved.