filestreamsink 连接器中每天的文件分区

Question

我需要使用filestreamsink连接器中的文件分区。但我尝试使用下面提到的时间戳。但我不明白。请纠正我的实施或建议替代方法

Kafka Connect Sink 连接器配置

name=your-file-sink-connector
connector.class=FileStreamSink
tasks.max=1

Kafka 主题和输出目录

topics=your-kafka-topic
file=/path/to/output/directory/data

根据消息时间戳分区文件

transforms=TimestampRouter
transforms.TimestampRouter.type=org.apache.kafka.connect.transforms.TimestampRouter
transforms.TimestampRouter.topic.format=your-topic-${timestamp:yyyy-MM-dd}
transforms.TimestampRouter.timestamp.format=yyyy-MM-dd

Answer 1

这对于 FileStreamSink 来说是不可能的。为此，只有 Confluence 的 HDFS/S3 连接器可以执行文件路径时间“分区”（它包括自定义

Partitioner

接口）。

rotate.interval.ms

是 Apache FileStreamSink 中包含的一个属性。