Apache Kafka Connect是Apache Kafka与其他数据系统之间可扩展且可靠的流数据的工具。 - https://kafka.apache.org/documentation.html#connect
在kafka_connect中配置__consumer_offset以减少空间。
我读到在brokers上有一个配置，可以用offset.reention.minutes来设置offset数据保留的时间。我的Kafka架构由3个ZK，3个Brokers和2个kafka connect workers组成。我的Kafka架构由3个ZK，3个Broker和2个kafka connect worker组成。
当使用Oracle DB时，Kafka连接器的正确属性是什么？
我正在学习Kafka连接，并希望使用Oracle作为我的数据库。我在属性方面遇到了问题。有没有什么设置属性是我遗漏的，以解决这个错误？
Debezium-oracle-connect, kafka connect ORA-01031。
我按照官方文档创建kafka connect。Kafka2.4和Debezium 1.0 Final { "name": "oracle-connect", "config": "connector.class" : "io.debezium.connector.oracle......" { "name": "oracle-connect", "config": { "connector.class" : "io.debezium.connector.oracle......
我在Kafka中不能用公网IP收发消息。我试着把IP改成private和public，也试着把advertised.host.name改成0.0.0.0。我也试过将advertised.host.name改为0.0.0.0。
Debezium的ExtractNewRecordState转换不能工作。
我正在建立一个数据同步器，它可以捕获MySQL Source的数据变化，并将数据导出到hive。我选择使用Kafka Connect来实现这个功能。我使用Debezium作为源连接器，并...
debezium。数据库中没有最大LSN记录；请确保SQL Server Agent正在运行。
这个问题与: Debezium 如何正确注册SqlServer连接器与Kafka Connect - 连接被拒绝 在Windows 10中，我有Debezium运行在Microsoft ...
从MSSQL vis kafka连接器到弹性搜索的嵌套类型的批量数据更新失败。
MSSQL值：column name=prop --> value= 100 and column name=role --> value= [{"role": "actor"},{"role": "director"}] 注意：column:role是以json格式保存的。
Kafka Connect可以成为我的Hadoop集群的一部分吗？
我目前正在使用一个由10个节点（1个名称节点和9个数据节点）组成的Hadoop集群，其中运行着Hbase、Hive、Kafka、Zookeeper和其他Hadoop的呼应系统。现在我想从......取数据。
Kafka Producer vs Kafka Connector
我需要通过调用存储过程从数据库(比如Oracle DB)推送数据到kafka主题，我也需要对消息做一些验证，我应该使用生产者API还是Kafka Connector。
Kafka文件从MS sql server传输到s3 bucket？
我需要将SQL Server中的文件传输到Minio中。当一个文件被写入MS SQL Server中的一个表时，我想通过Kafka s3 Connector将其写入Minio bucket。通过Kafka可以吗？
Cassandra Sink Connector：在尝试创建find主题'_confluent-command'时出错。
不能使用Ksqldb创建一个Kafka -> Cassandra Sink连接器：CREATE SINK CONNECTOR cassandra WITH( "connector.class" = 'io.confluent.connect.cassandra.CassandraSinkConnector', "tasks.max" = '1', ...
我在java中使用Kafka，将JSON消息以字符串的形式消耗，速率是每分钟100万条消息，我需要将字符串拆分，只取一些值，并保存到CSV中加载到数据库中，如何才能做出这样的 ...
在这里输入图片描述 我试图使用kafka将数据从oracleDB传输到mongoDB。所以我把kafka集群配置成上图那样。我知道调整分区和任务......。
我有一个Kafka-Connect，我需要将其与一个REST API集成，该API在调用单输入多数据模型时效果最好。想象一下下面的情况。Source Topic --> REST Request --> REST ...
我们正在使用confluent的s3连接器将avro数据从一个主题发送到s3。我们有3个broker节点，在这3个节点上我们都运行着confluent s3-connector。在连接器的配置文件中，我们有... ...
Kafka Connect 如何使命名空间与数据库名称不可知？
我的环境是MySQL(5.7)。我们有多个模式，命名惯例是{application_name}_env。举个例子，我们有两个应用程序：application_name}_env。考虑我们有两个应用程序：app1和app2开发环境。数据库名称将...
kafka-connect org.apache.avro.SchemaParseException: 非法字符$
我使用jdbc源连接器，当我想连接一个名称中包含"$"的表时，得到以下错误。 org.apache.avro.SchemaParseException: Illegal character <.>$..; >$...
Kafka s3 sink连接器--一个json中包含许多json
我在s3的sink连接器上遇到了一个问题。我将flush-size设置为3（用于测试），我的s3可以正常接收json文件。但当我打开json文件时，我没有一个json列表，我只有...
我把数据从binlog mysql同步到kafka，有时binlog文件被删除了，我得到一个错误，重新启动连接器org.apache.kafka.connect.errors.ConnectException。连接器正在尝试...
我正在构建一个自定义Kafka源连接器。这个连接器已经启动并运行了。我使用 rest API 来更新连接器的配置设置（例如 Source endpoint 和连接密钥）。I ...