在使用源连接器将其发送到主题时，有什么方法可以获取导致问题的不良记录吗？

Question

在接收器连接器（我正在使用Jdbc接收器连接器）中，如果我使用以下属性，我将在提到的主题（即dead_topic）中得到导致错误或错误的记录。

"errors.tolerance": "all",
"errors.deadletterqueue.topic.name":"dead_topic",
"errors.deadletterqueue.topic.replication.factor": 1,

类似，在使用 SpoolDirCsvSourceConnector 这样的源连接器时，有什么方法可以在提到的主题中获取它吗？

Answer 1

SpoolDirCsvSourceConnector没有这样的功能。

这个特定的连接器为由于错误而无法处理的文件实现了一种死信队列，方法是将它们移动到一个单独的目录，您可以在其中检查/监视未处理的文件，或者您可以在其中为这些文件设置替代的摄取/处理机制不合规格的文件。

来自连接器文档：

错误.路径

放置有错误的文件的目录。这 目录必须存在并且可由运行 Kafka 的用户写入 连接。

重要性：高 类型：字符串 有效值：绝对路径 存在且可写的目录。

实现您的需求最直接的方法是fork github中的连接器项目（Apache License 2.0）并自己实现基于Kafka的死信队列。