apache-flink 相关问题

Apache Flink是一个用于可扩展批处理和流数据处理的开源平台。 Flink在一个系统中支持批量和流分析。分析程序可以用Java和Scala中简洁优雅的API编写。

Apache Flink RichAsyncFunction open()是在init或每次函数调用时调用一次吗?

open()函数在init或每次执行rich函数时都会执行一次吗?因此,如果我们想要执行像创建数据库数据源这样繁重的操作,我们可以在那里执行...

回答 1 投票 0

Flink Checkpoint Failure - 检查点在10分钟后超时

我们每天处理数据时遇到一两个CheckPoint失败。数据量很低,如10k以下,我们的间隔设置为“2分钟”。 (处理速度很慢的原因是我们需要...

回答 1 投票 0

使用Apache Beam而不是直接使用Spark的缺点/问题? [关闭]

我需要开始一个新项目,我不知道Spark或Flink是否会更好。目前,该项目需要微批处理,但后来也需要流事件处理。假设Spark ......

回答 1 投票 -1

如何将我的流程的新更改部署到Apache Flink集群?

例如,我使用我的流程上传了JAR并通过Apache Flink仪表板运行它。然后我在流程中实现了一些更改,并希望部署它们。任何人都可以一步一步解释我如何部署......

回答 1 投票 1

如何根据json中的特定键将一个数据流中的接收器添加到不同的路径?

我有jsons喜欢,{“姓名”:“某人”,“工作”:“医生”,“等”:“等等”}在每个json中,对于“工作”有不同的价值,如医生,飞行员,司机,守望者等我想分开每个json ......

回答 1 投票 0

有没有办法只将过滤后的事件从Apache Flink流传递到AsyncDataStream / AsyncIO流?

所以我在Json中有一堆日志,我有一个流来验证/过滤掉所需的Json并且效果很好!现在我想使用AsyncIO从过滤的Json中进行数据库查找,但是......

回答 1 投票 0

Apache Flink流缩放

我是Apache Flink的新手,我正在尝试了解一些有关与Kafka一起扩展Flink流媒体工作的最佳实践。有些问题我无法找到合适的答案......

回答 1 投票 1

在Iterable上找到一个元素

我有以下类:public static class GenerateMetaAlert实现WindowFunction ,Tuple2 ,Tuple,TimeWindow> {@Override ...

回答 1 投票 0

Flink Job:获取InvalidClassException:com.fasterxml.jackson.databind.ObjectMapper

我们的flink工作在当地运行得非常好,但在尝试将其部署在纱线集群中时,它会低于错误。 Flink版本:1.5.0 Jackson 2.6.7引起:java.io ....

回答 2 投票 0

Flink Checkpoint失败 - 缺少子任务响应

超时后检查点失败。我们观察到有一些子任务没有回应。任何想法都会导致这个问题?工作背景:并行:5数据量:低于40k BackPressure:发送给...

回答 1 投票 0

为Apache Flink中的每个已处理输入文件生成单个输出文件

我正在使用Scala和Apache Flink构建一个ETL,它定期读取本地文件系统中目录下的所有文件,并将每个文件的处理结果写在一个输出文件中......

回答 1 投票 1

Flink - 从Cassandra获取数据作为通用ResultSet并将其转换为DataSet

我有来自kafka简单cql选择查询的StreamExecutionEnvironment作业。我尝试使用以下代码异步处理此查询:public class GenericCassandraReader ...

回答 1 投票 0

Flink Kafka Connector运行时错误

我正在使用:flink 1.1.2 Kafka 2.10-0.10.0.1 flink-connector-kafka-0.9.2.10-1.0.0我正在使用以下非常简单/基本的应用程序属性properties = new Properties(); ...

回答 1 投票 0

url http:// localhost:8081 / jars /:jarid / run的错误404

我有已经在flink集群中上传的jar文件。我正在使用flink 1.6.0这是我上传jar文件地址后的结果“http:// localhost:8081”文件0 id“1d6dc437 -...

回答 1 投票 0

使用Table AggregateFunction和ResultTypeQueryable时的ValidationException

我正在使用配置为使用flink-table jar的本地Flink 1.6集群(意味着我的程序的jar不包括flink-table)。使用以下代码导入org.apache.flink.api.common.typeinfo ....

回答 2 投票 0

Flink:管理器的数量是否与纱线上的nodeManager数量相关

我使用'在YARN上运行单个Flink作业'模式在纱线上运行flink作业,命令如下:./ bin / link run -m yarn-cluster -yn 5 ./examples/batch/WordCount。 jar问题是:...

回答 2 投票 0

Apache Flink - 端到端测试如何终止输入源

我已经在批处理中使用了apache flink一段时间,但现在我们想将这个批处理作业转换为流式作业。我遇到的问题是如何运行端到端测试。它是如何在批处理中工作的......

回答 1 投票 1

对Flink的Beam管道部署失败了404

我正在尝试在Flink 1.5.2 docker镜像上运行一个简单的Apache Beam管道。当我运行主类来部署管道时,我得到一个奇怪的404错误。管道在Google Cloud上正常运行......

回答 1 投票 1

Apache Flink:从Kafka读取数据作为字节数组

如何以byte []格式从Kafka读取数据?我有一个实现,使用SimpleStringSchema()读取事件为String但我找不到一个架构来读取数据作为byte []。这是我的代码:...

回答 2 投票 1

在Eclipse中创建Flink项目

我正在尝试使用eclipse创建一个Flink Maven项目并运行一些自写代码文件。我使用了这个教程:https://ci.apache.org/projects/flink/flink-docs-release-1.6/quickstart / ...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.