confluent 相关问题

Confluent Inc.是一家总部位于Palo Alto的软件公司,由在LinkedIn上建立Apache Kafka的团队创建,该公司扩展了Kafka,每天容纳超过1万亿条消息。 Confluent构建了一个基于Apache Kafka的事件流平台,使公司能够轻松地以实时流的形式访问数据。他们的产品范围从完全自我管理的实例到Confluent Cloud。

如何在后台运行Kafka Connect connect-distributed.sh(守护进程)?

我通过ssh连接到远程主机,然后运行.connect-distributed ...etckafkacusom-connect-distr.properties,现在终端无法输入。我试过-daemon选项,但它没有做 ...

回答 1 投票 0

在Confluent 5.0.1中,"错误.deadletterqueue.topic.name "没有效果。

我最近从confluent 4.0.1升级到了confluent 5.0.1。bootstrap.server的版本是Kafka 1.0。在我的HBaseSink连接器中,我配置了新的功能""errors.deadletterqueue..."。

回答 1 投票 1

Kafka用完全写好的存贮器来经纪下来

Kafka经纪商下来与完全写的存储空间,我已经尝试产生尽可能多的消息,因为经纪人可以处理。随着完全写的存储(8GB)经纪人都停止了,他们不能再次与这个......

回答 1 投票 1

Kafka connect 开发连接器依赖性

开发kafka连接器需要添加connect-api依赖。我应该使用哪一个?例如mongodb连接器使用maven central的connect-api,但开发指南中的链接是https:/...。

回答 1 投票 0

Confluent.Schema.Registry .NET Avro反序列化错误。

我目前有一个netcore 2.0控制台应用程序,可以产生Avro消息,但是当我试图消费它们时,当试图从模式中检索模式时,解串器失败了。

回答 1 投票 0

Debezium的ExtractNewRecordState转换不能工作。

我正在建立一个数据同步器,它可以捕获MySQL Source的数据变化,并将数据导出到hive。我选择使用Kafka Connect来实现这个功能。我使用Debezium作为源连接器,并...

回答 1 投票 0

从MSSQL vis kafka连接器到弹性搜索的嵌套类型的批量数据更新失败。

MSSQL值:column name=prop --> value= 100 and column name=role --> value= [{"role": "actor"},{"role": "director"}] 注意:column:role是以json格式保存的。

回答 1 投票 0

无法理解汇流云指标api ISO 8601时间间隔

来自文档:https:/docs.confluent.iocurrentcloudmetrics-api.html "intervals": [ "2019-12-19T11:00:00-05:002019-12-19T11:05:00-05:00" ] 这个时间间隔是什么格式?我一直不知道一...

回答 1 投票 0

使用kafka-avro-console-consumer消耗一个旧模式的消息。

有没有办法使用kafka-avro-console-consumer消耗一个旧模式的消息?我设法使用我们的模式注册表来消费主题中的消息,但它似乎总是......

回答 1 投票 0

在Spring、Kafka和Kotlin中正确使用Avro。

在我的在线应用中:用户从浏览器点击一个按钮,该按钮对应用进行了一个 restful 调用,控制器收到 restful 调用后建立一个命令,并接受 ...

回答 1 投票 0

在Kubernetes中,是否可以在Kafka-connect中不用JSON启动连接器?

我在kubernetis集群中用注册的插件启动了连接器,是否可以在没有REST API即Json值的情况下启动连接器。在HELM中指定值

回答 1 投票 0

KSQL KTabke+KTable Join重复结果异常。

我试着内联ktable和ktable。a和b表:用(Kafka_topic='a', Key='r', Value_format='json')创建表a_table(r字符串, 时间字符串); 创建表b_table(r字符串, 时间字符串) ....

回答 1 投票 1

kafka-connect org.apache.avro.SchemaParseException: 非法字符$

我使用jdbc源连接器,当我想连接一个名称中包含"$"的表时,得到以下错误。 org.apache.avro.SchemaParseException: Illegal character &lt.>$..; >$...

回答 1 投票 1

KStream的问题,以avro格式读取前后的有效载荷。

我正在汇流kafka平台上开发KStream应用。数据在源主题上以嵌套的avro格式存在,如下所述{ "type": "record", "namespace": "xyz", "table": "abc",...。

回答 1 投票 0

Kafka中KSQL操作的主题数据格式

我刚刚开始使用ksql,当我从头开始打印主题时,我得到的数据格式如下。41220, 9:00:05 AM MDT, key: {"messageId":null}, value: {"WHS":[{"字符集": "UTF-8","... ...

回答 1 投票 0

Kafka流在控制中心不显示输出。

我正在通过Confluent平台快速入门(Docker)。我可以创建一个主题,用kafka-node发布消息,用kafka-console-subscribe.sh订阅,还可以在KSQL中CREATE STREAM ...。

回答 1 投票 0

如何使用confluent-kafka-python确定kafka主题是否存在

我正在使用confluent-kafka-python软件包与Kafka服务器进行接口。我可以成功创建主题并将事件推送到该主题。但是,我的问题出在我启动多个节点时(...

回答 1 投票 2

KSQL表中如何有重复的ID?

我正在使用Confluent社区和Postgres数据库,并且遇到了以下问题。事件很好地流入kafka,并创建了主题。我从...

回答 1 投票 1

如何在ksql的列数组数据类型中插入null

我正在创建一个数据类型为Array的流。一个空值来了,所以我要在前一个流之上创建另一个流,并给出一个类似其null put []的情况。但不是...

回答 1 投票 0

无法解决gradle中融合的kafka依赖关系?

虽然在构建gradle文件中添加了对融合kafka的依赖关系,但无法解决。编译组:'io.confluent',名称:'kafka-avro-serializer',版本:'4.0.0'编译组:'io ....

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.