Apache Kafka Connect是Apache Kafka与其他数据系统之间可扩展且可靠的流数据的工具。 - https://kafka.apache.org/documentation.html#connect
偏移管理 - 查询模式下的Confluent JDBC Connector
根据汇合文档,当我们使用查询模式时,我们必须进行偏移管理。根据我的理解,我们需要跟踪上次更新的时间戳并将其传递给...
汇总的kafka到s3连接失败,出现ERROR线程中的意外异常[KafkaBasedLog工作线程 -
我在EC2上设置了从kafka读取并写入S3的汇合(4.0)连接器。独立尝试顺利:bin / connect-standalone等/ standalone / example-connect-worker.properties etc / ...
我们需要使用JDBC Connector从RDBMS读取数据,然后在将数据推送到Kafka之前使用我们的自定义加密。并在解决方案中解密数据,然后将其推送到...
我正在尝试轮询temp的文件大小。从Kafka主题写入HDFS的avro文件,但是org.apache.hadoop.fs.FileStatus保持返回0字节(.getLen()),而编写器是......
我正在使用PostgreSQL。在我的表格数字列中定义如下:“net_weight”numeric(19,2)但是在Kafka中,我收到的不是十进制数字(例如14.0)我得到类似“E4g =”的东西......
连接器的任务状态因错误而失败:org.apache.kafka.connect.errors.ConnectException:java.lang.NoClassDefFoundError我在分布式模式下运行kafka connect cluster而我...
我正在将流媒体应用程序从水槽移动到kafka。我需要帮助,因为我是卡夫卡的新手。我有一台Windows机器,在某个特定位置由物联网传感器不断生成CSV文件......
我在侦听器方法中的Consumer类InventoryEventReceiver中收到以下错误。不确定出现NullPointerException的原因。我只是POST两个InventoryEvent对象....
也许这是一个初学者的问题,但是读取KSQL中生成的数据的推荐方法是什么?我们假设我做了一些流处理并将数据写入KSQL表。现在我想访问这个...
我总共有3个VM(CloudVPS)。他们每个人都安装了java,汇合的开源。在VM1中,我正在运行3个Splunk-sink-connector进程,它可以读取不同的主题并且...
如何在Kafka Source Connector中创建多个任务?
我是Apache Kafka的新手,我正在尝试创建多个任务,每个任务都有一个单独的目的。但源连接器方法taskClass()仅返回1个任务类。那么我该如何创造更多?
如何将Confluent Control Center Interceptor添加到现有S3(Sink)连接器?监视接收器。我正在寻找文件。任何帮助表示赞赏。
使用最新的kafka和汇合的jdbc接收器连接器。发送一个非常简单的Json消息:{“schema”:{“type”:“struct”,“fields”:[{“type”:“...
Postgres使用JDBC Kafka Connect进行流式传输
我正在尝试使用Kafka Connect JDBC Connector在Postgres数据库中传输更改。我在启动时遇到问题,因为数据库非常大,查询每次都作为行终止...
使用JsonConverter的Kafka Connect HDFS Sink for JSON格式
通过JSON向Kafka制作/消费。使用以下属性保存到JSON中的HDFS:key.converter = org.apache.kafka.connect.json.JsonConverter value.converter = org.apache.kafka.connect.json ....
我启动了kafka连接图像。我配置了近25个运行源和接收器连接器,当我放入这个容器时,我只看到1个java进程root @ connect:/#ps -ef | grep java root ...
kafka connect - 审计 - 在任务完成时触发事件
我们正在使用kafka构建一个异常管理工具。将有源连接器 - 它将从物理文件中提取记录。另一方面,将有接收连接(mongodb-sinkconnect)...
对于Kafka Connect Connector或Connector任务失败或遇到错误的情况,是否有任何警报选项?我们有Kafka Connect运行,它运行良好,但我们有错误......
通过apache官方页面https://kafka.apache.org/quickstart创建一个文本文件作为echo -e“foo \ nbar”> test.txt并使用kakfa connect以下命令使用bin / ...
我正在尝试使用kafka-jdbc-connector(源和接收器)和一个非常古老的数据库(cloudscape)。我有这个数据库的JDBC驱动程序。我把驱动程序放在“/ share / java / kafka / connect / jdbc”中......