自上次偏移提交以来任务没有生成任何记录,或者每个记录都已被过滤掉

问题描述 投票:0回答:1

我正在执行一项在本地计算机上设置 jdbc kafka 连接器的任务。我一步一步完成了设置:

➜  bin ./zookeeper-server-start.sh ../config/zookeeper.properties
➜  bin ./kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092
➜  bin  ./connect-distributed.sh ../config/connect-distributed.properties

并成功运行 Kafka 服务器。

最终使用curl命令注册了jdbc kafka连接器:

curl -X POST http://localhost:8083/connectors -H "Content-Type: application/json" -d '{
        "name": "jdbc_source_mysql_01",
        "config": {
                "connector.class": "io.confluent.connect.jdbc.JdbcSourceConnector",
                "connection.url": "jdbc:mysql://mysql:3306/neo_table”,
                "connection.user": “root”,
                "connection.password": "xxx",
                "topic.prefix": "saif-test",
                "mode":"bulk",
                "poll.interval.ms" : 3600000
                }
        }'

最后运行消费者:

 ➜  bin sh kafka-console-consumer.sh --topic saif-test  --bootstrap-server localhost:9092  

但是消费者闲着,没有打印任何消息,并且kafka服务器正在打印错误消息:

[2022-04-06 08:53:43,060] 信息 [jdbc_source_mysql_01|任务0|偏移量] WorkerSourceTask{id=jdbc_source_mysql_01-0} 要么没有记录 自上次偏移提交以来由任务生成的,或者每个记录都有 被转换过滤掉或因转换而删除 或转换错误。 (org.apache.kafka.connect.runtime.WorkerSourceTask:484)

➜  bin sh kafka-topics.sh --bootstrap-server=localhost:9092 --list
__consumer_offsets
connect-configs
connect-offsets
connect-status
neo_table
neo_tableneo_table
neo_tablesys_config
quickstart-events
saif-test
saif-testneo_table
saif-testsys_config  
mysql jdbc apache-kafka apache-kafka-connect
1个回答
-1
投票

您有任何解决方案,请在此处回复。谢谢

© www.soinside.com 2019 - 2024. All rights reserved.