flink-streaming 相关问题

Apache Flink是一个用于可扩展批处理和流数据处理的开源平台。 Flink在一个系统中支持批量和流分析。分析程序可以用Java和Scala中简洁优雅的API编写。

flink工作提交 org.apache.flink.runtime.messages.FlinkJobNotFoundException。找不到Flink作业

得到以下flink作业提交错误,@centos1 flink-1.10.0]$ .binflink run -m 10.0.2.4:8081 .examplesbatchWordCount.jar --输入文件:/storageflink-1.10.0test.txt --输出文件:/......

回答 1 投票 0

Flink流加入一个可能返回大量结果的维度表。

我有一个事件流,需要用订阅信息来丰富。有些事件是广播事件,这意味着当接收到这样的事件时,我需要在数据库表中找到所有的......

回答 1 投票 0

Flink流媒体示例,生成自己的数据。

之前我问过关于Flink的简单hello world的例子。这给了我一些很好的例子!但是我想请教一下关于Flink的简单hello world的例子。然而我想问一个更 "流 "的例子,我们每秒钟生成一个输入值......。

回答 1 投票 0

Flink文件中的容错率 Sink

我使用Flink流媒体与Kafka消费者连接器(FlinkKafkaConsumer)和文件汇(StreamingFileSink),在集群模式下使用精确的一次策略。文件汇将文件写入本地 ...

回答 1 投票 1

眨眼键窗口水印

我正在使用flink与事件时间键窗口。好像有些窗口没有被发射。是不是每个键的水印都被单独提前了?例如,如果我的键是(id,type), ...

回答 1 投票 0

Flink如何清理键控状态?

当思考由某物进行键控的行为时,我传统上想到的比喻是把所有符合键控的事件扔进同一个桶里。你可以想象,当Flink ...

回答 1 投票 0

如何根据数据的不同,将一个数据流输出到不同的输出?

在Apache Flink中,我有一个tuples流。让我们假设一个非常简单的Tuple1。 . 元组的值域中可以有一个任意的值(例如'P1','P2'等)。可能的集合...

回答 1 投票 19

使用异步IO从Flink调用http REST api。

我必须从flink进程元素中的每一个数据流中的Rest API中获取数据,我如何才能实现,我无法找到足够的仪表来异步调用Rest服务。...

回答 1 投票 0

Apache Flink & Kafka FETCH_SESSION_ID_NOT_FOUND 信息日志

我们的Flink应用有一个Kafka数据源。应用程序以32个并行方式运行。当我看日志时,我看到很多关于FETCH_SESSION_ID_NOT_FOUND的语句。2020-05-04 11:04:47,753 ...

回答 1 投票 0

如何在Flink行中通过字段名获取值?

我有一个方法def process(row: org.apache.flink.types.Row, fieldName: String) : Unit = ? 而我要做的处理需要我提取一个名字为fieldName的字段。我可以看到...

回答 1 投票 0

如何在Apache Flink中把检查点存储到远程RocksDB中?

我知道Apache Flink中的状态后端有三种。MemoryStateBackend,FsStateBackend和RocksDBStateBackend。MemoryStateBackend将检查点存储到本地RAM中, ...

回答 2 投票 0

如何用bazel利用import Flink的TestHarness类?

我自己已经回答了我的直觉可能是正确的,使用包装和或分类器。为了找到正确的Build文件的导入标签,我建议查看.cachebazel...

回答 1 投票 0

在Apache flink中,如何获取过滤函数中不匹配的值的输出。

我是新手,Apache flink我试图过滤以字母 "N "开头的单词,我得到的输出,但我怎么能得到不以单词 "N "开头的单词下面是我使用的代码......

回答 1 投票 0

数据流API中的Flink迭代--缺点

我们想结合Async IO操作符使用迭代,对同一事件执行连续的API调用。但是,在回答我提出的另外一个问题时,提到......。

回答 1 投票 0

为什么Flink的操作函数类的构造函数传递参数为空?

我是学Flink的,我想建立一个扩展为ProcessWindowFunction的操作函数,并重载一个新的构造函数,参数为该类的字段值,但是当这个类......

回答 1 投票 0

Apache Flink - 外置 Jar

我试图使用maven和一个额外的依赖关系来创建一个Flink应用程序。 com.microsoft.sqlserver mssql-jdbc

回答 1 投票 1

Flink:Flink是否支持抽象运算符,可以处理具有共同字段的不同数据流?

假设我们有多个数据流,它们有一些共同的特征。例如,我们有一个教师流和一个学生流,它们都有一个年龄字段。如果我想找出 ...

回答 1 投票 0

如何在纯java中设置flink的并行性(IDEA)。

我使用下面的scala代码来运行我的flink流作业 val mystream = StreamExecutionEnvironment.getExecutionEnvironment mystream.addSource(new mySource(params)) .map(new myMap(...)

回答 1 投票 0

在Kubernetes中使用FsStateBackend时,Flink检查点失效。

当我在kubernetes中使用flink与FsStateBackend的每个作业状态后端时,我得到了如下所述的错误-:env.setStateBackend(new FsStateBackend("file:/dataflinkcheckpoints"))...。

回答 2 投票 0

如何理解Apache Flink中的函数setParallelism?

https:/ci.apache.orgprojectsflinkflink-docs-stabledevparallel.html 我在读Flink的这个文档,我不太明白执行环境层的部分。让我们用 ...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.