flink-streaming 相关问题

Apache Flink是一个用于可扩展批处理和流数据处理的开源平台。 Flink在一个系统中支持批量和流分析。分析程序可以用Java和Scala中简洁优雅的API编写。

Apache Flink的Webhook流媒体连接器

根据Apache Flink文档,它有Predefined Data Sources。它还提到有一些其他的连接器,如RabitMq连接器等。我想知道是否有任何类似的项目... ...

回答 1 投票 0

flink在k8s上的状态值丢失--恢复工作时jobmanagertaskmanager崩溃。

当flink作业集群(deploymentpod)在kubernetes上运行时,我们删除了jobmanager和taskmanager(kubectl delete pod XXX)。我们发现之前的pod中的rocksDB和状态都不见了。

回答 1 投票 0

用于FlinkKafkaProducer的ProducerConfig,具有精确的Once语义。

使用Kafka API创建一个具有exactly-once语义的Kafka producer时,必须设置两个属性:transactional.id必须设置为transactional id,enable.idempotence必须 ...

回答 1 投票 1

修正Apache Flink中的JobId

有什么办法可以在Apache Flink的本地执行环境中,从Java中修正作业ID?Kind regards.请问有什么办法可以解决Apache Flink中的job id在本地执行环境中从Java开始的问题吗?先谢谢你。

回答 1 投票 0

Flink Job Cluster Kubernetes 从保存点恢复

我们目前在kubernetes上以job cluster的形式运行flink,使用的是这个 helm模板:https:/github.comdocker-flinkexamplestreemasterhelmflink(添加了一些配置)。如果我想...

回答 1 投票 0

需要一个用于FLINK 1.3.3的Prometheus库。

我们正计划使用Prometheus来进行度量监控,目前我们的大部分应用都在FLINK 1.3.3中运行,有什么Prometheus度量的jar吗?我检查了maven...没有看到任何东西...。

回答 1 投票 0

使用Rocksdb到期后,Flink ValueState将从存储中删除吗?

我正在将Flink版本1.10.1与rocksdb后端一起使用。我知道rocksdb使用“托管内存”中的内存,并且没有为托管内存设置任何特定值。它是由Flink完成的。当我...

回答 1 投票 0

Flink SQL:UDTF传递行类型参数

CREATE TABLE user_log(data ROW(id String,user_id String,class_id String))WITH('connector.type'='kafka',...);插入到接收器SELECT * FROM user_log作为选项卡,LATERAL TABLE(...

回答 1 投票 0

NIFI在给定条件的帮助下从API提取数据

我试图从NIFI内的其余API提取数据,但有以下几种情况。 1)我有Rest API,它使用给定的参数示例填充从Cassandra数据库获取的数据...

回答 1 投票 0

如何向Apache Flink表添加新行

是否可以向flink表添加新记录/行?例如,我具有以下表配置:ExecutionEnvironment env = TableEnvironmentLoader.getExecutionEnvironment(); ...

回答 1 投票 0

与S3接收器一起流式传输时精确到Flink

我是Flink的新手,我正在尝试编写一次具有精确语义的简单流作业,该作业从Kafka侦听并将数据写入S3。当我说“精确一次”时,我的意思是我不想...

回答 1 投票 1

Flink动态更新流作业

我正在收到有关不同主题的一系列Avro格式的事件。我想使用这些并以拼花形式写入s3。我写了下面的工作,为每个事件创建一个不同的流...

回答 1 投票 0

会话窗口链接

有人可以帮助我了解flink中的窗口(会话)何时以及如何发生?或如何处理样品?例如,如果有连续的事件流入,则事件...

回答 2 投票 0

在源头的flink中对整个dataStream进行分区,并保持分区直到接收器

我正在使用队列(Apache Pulsar)中的跟踪日志。我使用了5个keyedPrcoessFunction,最后将有效负载下沉到Postgres Db。我需要为每个keyedProcessFunction订购每个customerId。 ...

回答 1 投票 0

FlinkSQL:如何在SQL中过滤出错误格式的JSON?

[CREATE TABLE user_log(a STRING,b STRING)WITH('connector.type'='kafka','connector.version'='universal','connector.topic'='test','connector.properties.0 .key'='...

回答 2 投票 0

可能的快照机制在Apache Flink中花费越来越多的内存

我正在学习快照机制在Flink中的工作方式。据我了解,JobManager将以固定的间隔将障碍插入每个数据源中,并且每个操作员都会在创建快照后对其进行快照...

回答 1 投票 0

如何在Apache Flink中拆分NodeObject的数据

我正在使用Flink处理来自某些数据源(例如Kafka,Pravega等)的数据。就我而言,数据源是Pravega,它为我提供了flink连接器。我的数据源正在发送...

回答 1 投票 0

Apache Flink:无法从ObjectNode :: get]中提取密钥>

我正在使用Flink处理来自某些数据源(例如Kafka,Pravega等)的数据。就我而言,数据源是Pravega,它为我提供了flink连接器。我的数据源正在发送...

回答 1 投票 0

如何在AWS EMR上使用Apache Flink安全地更新作业?

我无法找到有关如何安全更新代码的说明。我看到有关如何使用保存点的Flink文档。我期望有一个简单的解决方案来更新AWS EMR中的Flink作业。 https://ci.apache.org / ...

回答 1 投票 0

如何在FlinkSQL中获得Row的长度?

sql:CREATE TABLE tab1(data Row )WITH ...;我想知道Row的长度,例如:从tab1中选择size(data)作为大小...输出长度为2。如何...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.