运动流和Flink

问题描述 投票:0回答:1

我有一个关于在Kinesis流中分片数据的问题。在将用户数据发送到我的运动流时,我想使用随机分区键,以使分片中的数据均匀分布。为了简化此问题,我想通过在Flink应用程序中键入userId来聚合用户数据。

我的问题是:如果分片是随机分区的,那么一个userId的数据会分布在多个Kinesis分片中,Flink可以处理多个分片的读取,然后重新分发数据,以便单个userId的所有数据都可以流到同一聚合器任务?或者,在Flink消费运动流之前,我是否需要按用户ID分割运动流?

apache-flink flink-streaming amazon-kinesis
1个回答
0
投票

... Flink可以处理多个分片的读取,然后重新分发数据,以便将单个userId的所有数据流式传输到同一聚合器任务吗?

是,如果使用Flink的DataStream API,这将是keyBy(e -> e.userId)的效果。

© www.soinside.com 2019 - 2024. All rights reserved.