apache-kafka-connect 相关问题

Apache Kafka Connect是Apache Kafka与其他数据系统之间可扩展且可靠的流数据的工具。 - https://kafka.apache.org/documentation.html#connect

偏移管理 - 查询模式下的Confluent JDBC Connector

根据汇合文档,当我们使用查询模式时,我们必须进行偏移管理。根据我的理解,我们需要跟踪上次更新的时间戳并将其传递给...

回答 1 投票 0

汇总的kafka到s3连接失败,出现ERROR线程中的意外异常[KafkaBasedLog工作线程 -

我在EC2上设置了从kafka读取并写入S3的汇合(4.0)连接器。独立尝试顺利:bin / connect-standalone等/ standalone / example-connect-worker.properties etc / ...

回答 1 投票 1

如何将JDBC连接器与自定义加密一起使用

我们需要使用JDBC Connector从RDBMS读取数据,然后在将数据推送到Kafka之前使用我们的自定义加密。并在解决方案中解密数据,然后将其推送到...

回答 1 投票 0

在HDFS上仍然打开编写器时获取文件大小

我正在尝试轮询temp的文件大小。从Kafka主题写入HDFS的avro文件,但是org.apache.hadoop.fs.FileStatus保持返回0字节(.getLen()),而编写器是......

回答 1 投票 0

Debezium Kafka连接。十进制模式错误

我正在使用PostgreSQL。在我的表格数字列中定义如下:“net_weight”numeric(19,2)但是在Kafka中,我收到的不是十进制数字(例如14.0)我得到类似“E4g =”的东西......

回答 1 投票 0

连接器任务状态无法连接

连接器的任务状态因错误而失败:org.apache.kafka.connect.errors.ConnectException:java.lang.NoClassDefFoundError我在分布式模式下运行kafka connect cluster而我...

回答 1 投票 0

流式传输文件夹中的文件

我正在将流媒体应用程序从水槽移动到kafka。我需要帮助,因为我是卡夫卡的新手。我有一台Windows机器,在某个特定位置由物联网传感器不断生成CSV文件......

回答 2 投票 0

org.springframework.kafka.listener.ListenerExecutionFailedException:监听器方法抛出了java.lang.NullPointerException

我在侦听器方法中的Consumer类InventoryEventReceiver中收到以下错误。不确定出现NullPointerException的原因。我只是POST两个InventoryEvent对象....

回答 1 投票 0

从KSQL表中读取数据

也许这是一个初学者的问题,但是读取KSQL中生成的数据的推荐方法是什么?我们假设我做了一些流处理并将数据写入KSQL表。现在我想访问这个...

回答 1 投票 4

在分布式模式下运行kafka连接?

我总共有3个VM(CloudVPS)。他们每个人都安装了java,汇合的开源。在VM1中,我正在运行3个Splunk-sink-connector进程,它可以读取不同的主题并且...

回答 1 投票 1

如何在Kafka Source Connector中创建多个任务?

我是Apache Kafka的新手,我正在尝试创建多个任务,每个任务都有一个单独的目的。但源连接器方法taskClass()仅返回1个任务类。那么我该如何创造更多?

回答 1 投票 0

汇流控制中心拦截器

如何将Confluent Control Center Interceptor添加到现有S3(Sink)连接器?监视接收器。我正在寻找文件。任何帮助表示赞赏。

回答 1 投票 0

Kafka jdbc接收器连接器与json架构无法正常工作

使用最新的kafka和汇合的jdbc接收器连接器。发送一个非常简单的Json消息:{“schema”:{“type”:“struct”,“fields”:[{“type”:“...

回答 2 投票 1

Postgres使用JDBC Kafka Connect进行流式传输

我正在尝试使用Kafka Connect JDBC Connector在Postgres数据库中传输更改。我在启动时遇到问题,因为数据库非常大,查询每次都作为行终止...

回答 1 投票 0

使用JsonConverter的Kafka Connect HDFS Sink for JSON格式

通过JSON向Kafka制作/消费。使用以下属性保存到JSON中的HDFS:key.converter = org.apache.kafka.connect.json.JsonConverter value.converter = org.apache.kafka.connect.json ....

回答 2 投票 0

kafka连接器如何处理内存泄漏?

我启动了kafka连接图像。我配置了近25个运行源和接收器连接器,当我放入这个容器时,我只看到1个java进程root @ connect:/#ps -ef | grep java root ...

回答 1 投票 0

kafka connect - 审计 - 在任务完成时触发事件

我们正在使用kafka构建一个异常管理工具。将有源连接器 - 它将从物理文件中提取记录。另一方面,将有接收连接(mongodb-sinkconnect)...

回答 1 投票 3

Kafka Connect警报选项?

对于Kafka Connect Connector或Connector任务失败或遇到错误的情况,是否有任何警报选项?我们有Kafka Connect运行,它运行良好,但我们有错误......

回答 3 投票 2

卡夫卡连接不工作?

通过apache官方页面https://kafka.apache.org/quickstart创建一个文本文件作为echo -e“foo \ nbar”> test.txt并使用kakfa connect以下命令使用bin / ...

回答 1 投票 0

带有旧数据库的JDBC Kafka连接器

我正在尝试使用kafka-jdbc-connector(源和接收器)和一个非常古老的数据库(cloudscape)。我有这个数据库的JDBC驱动程序。我把驱动程序放在“/ share / java / kafka / connect / jdbc”中......

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.