我正在 JAVA 中设计一个简单的生产者消费者对，它将大规模运行，生产者将数据转储到文件系统中，消费者将定期获取数据，将它们聚合为（源，目的地) 配对并转发他们。
我想知道我们是否可以在转储时使用源目的地使用轻量级（无服务器）持久队列转储数据然后消费者可以简单地选择整个数据集并聚合而无需浏览所有文件。
数据结构如下
{
source : 'rt-11ebf',
destination : 'b-11321ef',
type : 'incoming',
bytes_in : 10456,
bytes_out: 0,
timestamp: 1678076032
}