apache-kafka-connect 相关问题

Apache Kafka Connect是Apache Kafka与其他数据系统之间可扩展且可靠的流数据的工具。 - https://kafka.apache.org/documentation.html#connect

Kafka SMT用于ISO UTC日期时间格式的日期时间转换

是否可以将MySQL中datetime类型的列转换为源连接器中的UTC-ISO DateTime格式?输入详细信息列名:Modified_dtmStamp示例值:2018-08-03 16:...

回答 1 投票 0

Kafka用例:从kafka连续读取,对消息执行解密,然后插入到db

Kafka用例:从Kafka(可能是一个流)连续读取,使用Java方法对消息值执行解密,然后插入到db(或者接收器或者我有一个Java REST API,可以...

回答 1 投票 0

我可以让Kafka使用者/接收器连接跳过主题中的特定分区吗?

Kafka Connect中的任何选项都指定从哪个分区专门读取消息。基本上,我在Kafka Connects中寻找一个选项来手动分配要读取的分区列表。 ...

回答 1 投票 1

Kafka Connect:如何将String解析为Map

假设我有一个文件填充了由新行字符(\ n)分隔的JSON对象/行。当基于FileStreamSource的连接器读取此文件时,它会将每行视为java.lang ....

回答 2 投票 0

是否可以将SMT(单个消息转换)应用于仅来自指定主题的消息

我正在使用Debezium MySql连接器将数据库更改事件从MySql数据库传输到Kafka。我需要将特定的转换应用于某些指定表中的记录(但不是来自...

回答 2 投票 0

如何为IoT Hub的每个新生产者添加一个新的Kafka主题?

我正在研究Azure云解决方案。我正在使用连接到Kafka的IoT Hub来处理来自各种物联网设备的数据。我面临的是所有来自多个设备的数据......

回答 1 投票 3

回复kafka模板连接标头(CorrelationId)不会发送到Google pub sub

我正在尝试使用Replyingkafkatemplate,其中自动添加了correlationid,但是当使用kafka connector-Sink连接器将消息发布到Google pubsub时,标题丢失了。 ...

回答 1 投票 0

是否可以在kafka连接器中为kafka使用者组的主题重置偏移?

我的kafka接收器连接器读取多个主题(配置了10个任务),并处理来自所有主题的300个记录。根据每条记录中的信息,连接器可能......

回答 1 投票 0

org.apache.kafka.connect.errors.DataException:Struct模式不匹配

尝试使用java中的kafka.connect.data.Schema在特定对象类型的数组模式中创建和填充string类型的数组模式。但得到错误org.apache.kafka.connect ....

回答 1 投票 0

Kafka连接器和架构注册表 - 错误检索Avro架构 - 未找到主题

我有一个主题,最终会有很多不同的模式。现在它只有一个。我通过REST创建了一个连接作业,如下所示:{“name”:“com.mycompany.sinks.GcsSinkConnector -...

回答 1 投票 0

如何在达到特定大小(128 Mb)时将Kafka消息提交到HDFS接收器

我的配置:Confluent(5.0.0)Kafka生成一些avro消息。 Connect worker(HDFS连接器接收器)将这些消息以Parquet格式传输到HDFS节点。我配置连接工作者提交...

回答 1 投票 0

用于Kafka Connect的Debezium SQL Server连接器不在Kafka中创建主题

我试图让Debezium的SQLServerConnector在Kafka Connect中工作,一切似乎运行正常,除了没有创建主题。我错过了什么吗?它开始了任务......

回答 1 投票 0

org.apache.kafka.connect.errors.DataException:数组默认值的JSON无效:“null”

我正在尝试使用confluent-4.1.1来使用汇合的Kafka s3连接器。 s3-sink“value.converter.schema.registry.url”:“http:// localhost:8081”,“value.converter”:“io.confluent.connect.avro ....

回答 2 投票 0

Kafka Connect S3动态S3文件夹结构创建?

我已经使用独立方法手动安装了Confluent Kafka Connect S3,而不是通过Confluent的流程或作为整个平台的一部分。我可以从...成功启动连接器

回答 1 投票 0

Kafka spring boot应用程序生产商无法用Kafka Sink Connector和Avro格式反映出来

我的目标是我有春天启动应用程序kafka生产者与Avro序列化属性,我除了推送到相应的主题,应该通过汇合Sink访问的消息...

回答 1 投票 0

如何使用rest api设置kafka connect auto.offset.reset

我创建了一个将数据转换为其他存储的接收器kafka connect;我想在使用kafka connect rest api创建新连接器时将auto.offset.reset设置为最新版本。我设置了consumer.auto ....

回答 1 投票 0

如何订阅Apache Kafka主题并将数据流传输到Hive表

如何订阅Apache Kafka主题并将主题数据流式传输到Hive表? Kafka主题将实时更新。

回答 3 投票 0

如何让RabbitMQ Kafka连接器生成的字节数组数据获得密钥?

我使用官方的Kafka RabbitMQ连接器从RabbitMQ实例获取JSOn消息。目前,此连接器如果配置如此名称= RabbitMQConsentConsumer connector.class = io.confluent ....

回答 1 投票 0

如何通过融合将kafka主题的流转换为elasticsearch?

我从机器读取数据并将其作为JSON流式传输到kafka主题。我想阅读这个主题并将streamdata存储到elasticsearch中。我的步骤:1。创建KSQL Streams到...

回答 1 投票 0

Kafka连接JDBC接收器 - 将嵌套的json映射到多行

作为要求的一部分,我们将继续使用Kafka连接将数据推送到我们的数据库。到目前为止我读到的是消息和数据库行之间将存在1x1映射,即单个消息...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.