apache-kafka-connect 相关问题

Apache Kafka Connect是Apache Kafka与其他数据系统之间可扩展且可靠的流数据的工具。 - https://kafka.apache.org/documentation.html#connect

Kafka+postgresdatabase+debezium 不会自动创建主题

我正在尝试使用 debezium 将 kafka 与 postgres 数据库连接起来,但主题不会自动创建,请记住我在日志中没有收到任何错误,我应该检查什么?

回答 0 投票 0

Kafka JDBC Source Connector 在哪里存储最后读取的 DB 行?

我试图在实现方面弄清楚 Kafka Connect JDBC 源连接器如何跟踪它读取和发布的最后一个数据库行。我找到了这个页面,它在第二段中有详细说明......

回答 1 投票 0

Kafka 连接源和目标之间的记录计数不匹配

我们正在使用 kafka connect JDBC 连接器使用 jdbcsource 连接器从 oracle DB 中的表中获取数据,并使用 jdbc sink 连接器通过主题将其上传到 postgres DB 中的目标表。

回答 1 投票 0

从kafka主题中插入消费数据到SQL数据库

我们正在开展一个项目,以使用来自 kafka 主题的数据并将其插入 SQL 数据库。 让我感到困惑的是 Apache Kafka 没有用于 SQL 数据库的连接器,而另一个选择...

回答 1 投票 0

Kafka connect oracle-cdc 为每个主题自动生成具有相同名称“ConnectDefault”的模式。可以按主题定制吗?

我正在使用 Kafka Connect 和 oracle cdc (https://docs.confluent.io/kafka-connectors/oracle-cdc/current/overview.html) 源连接器在一些数据库表上做 CDC。它根据...创建一个主题

回答 1 投票 0

confluent Bigquery connector v2.5不分配分区是什么原因?

我从合流的 Bigquery sink 连接器 v2.5 中得到以下错误: 警告 [debezium-connector-bigquery|task-0] WorkerSinkTask{id=debezium-connector-bigquery-0} 忽略无效任务 亲...

回答 0 投票 0

Kafka 连接转换“从转换中获取配置定义时出错”

我有一个添加了自定义转换器插件的 kafka 连接器,它符合以下条件: 从转换中获取配置定义时出错 这是我的连接器配置: api版本:kafka.strimzi.io/v1beta2

回答 0 投票 0

Debezium Postgres 保留 wal 大小随 select 语句增加

我们正在为 PostgreSQL 使用 Debezium 连接器,Debezium 版本 1.3 和 PostgreSQL 10.2,带有 pgoutput 插件。在 PostgreSQL 上进行选择时,我们遇到了一个特殊的问题,它返回 l...

回答 0 投票 0

如何访问Strimzi创建的Kafka Connect?

我正在尝试通过 Redpanda 控制台访问由 Strimzi 创建的 Kafka Connect。 我通过以下方式安装了 Kafka Connect kubectl 应用 --filename=hm-kafka-iot-kafka-connect.yaml hm-kafka-iot-kafka-connect...

回答 1 投票 0

如何正确使用 Spark -> Kafka -> JDBC sink connector with Avro?

我有一个简单的 Spark 应用程序生成 Kafka 消息 导入 org.apache.spark.sql.SparkSession 导入 org.apache.spark.sql.functions.{col, struct} 导入 org.apache.spark.sql.avro.functions.to_avro

回答 3 投票 0

如何在 Strimzi 创建的 Kafka Connect 中使用 io.apicurio.registry.utils.converter.AvroConverter?

我有一个 Kafka 集群,由 Strimzi 和 Apicurio Registry 部署,用于 Kafka 模式注册表。 我希望在 JDBC 接收连接器中使用 AvroConverter 将数据从 Kafka 接收到 TimescaleDB。 这里...

回答 2 投票 0

如何正确使用 Spark -> Kafka -> JDBC sink connector with Avro?

我有一个简单的 Spark 应用程序生成 Kafka 消息 导入 org.apache.spark.sql.SparkSession 导入 org.apache.spark.sql.functions.{col, struct} 导入 org.apache.spark.sql.avro.functions.to_avro

回答 3 投票 0

JDBC sink connector如何找到对应的AVRO schema?

我在 Apicurio Registry 有一个 AVRO 模式。 我正在尝试使用 Apicurio Registry 的 Confluent 兼容 REST API 端点。当前使用 Content ID 6 检索 curl --location 'http://apicurio-

回答 1 投票 0

JDBC sink connector如何找到对应的AVRO schema?

我在 Apicurio Registry 有一个 AVRO 模式。 我正在尝试使用 Apicurio Registry 的 Confluent 兼容 REST API 端点。当前使用 Content ID 6 检索 curl --location 'http://apicurio-

回答 0 投票 0

java.lang.ClassNotFoundException:Kafka 连接中的 io.apicurio.registry.serde.avro.AvroKafkaSerializer

我有一个 Kafka 集群,由 Strimzi 和 Apicurio Registry 部署,用于 Kafka 模式注册表。 我希望在 JDBC 接收连接器中使用 AvroConverter 将数据从 Kafka 接收到 TimescaleDB。 这里...

回答 2 投票 0

Kafka Connect FilePulse 在 CSV 文件列上应用过滤并加载到 Kafka 主题中

我正在使用 FilePulse 连接器将 CSV 文件内容加载到 Kafka 主题中,并且工作正常。我的 CSV 文件内容示例如下; `reference_key,service_type,event_timestamp,cell_id,sit...

回答 0 投票 0

如何有效扩展 Kafka Connect?

我想运行一个本地 Kafka Connect (KC) 集群,它将运行多个不同的“源”和“接收器”连接器。目前在测试配置中,我缩放了 KC 集群...

回答 1 投票 0

Kafka 连接 Debezium Mongo 源连接器无法连接到 MongoDb 实例

以下命令用于在Docker中设置Zookeeper、Kafka、Schema-registry、Kafka-connect和MongoDb。 Kakfa-connect 集群似乎没有连接到 MongoDb,它一直在

回答 1 投票 0

Kafka:无法使用 MySQL 连接器 Kafka 中的 where 子句运行查询

JSON 文件: { “名称”:“mysql-jdbc”, “配置”:{ “connector.class”:“io.confluent.connect.jdbc.JdbcSourceConnector”, “连接。你...

回答 2 投票 0

Apache Ignite Kafka Streamer 不工作,获取 java.lang.NoClassDefFoundError:无法初始化类

遵循此处提到的说明: https://ignite.apache.org/docs/latest/extensions-and-integrations/streaming/kafka-streamer 但仍然出现以下错误: WorkerSinkTask{id=my-ignite...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.