Ab Initio图:使用Replicate按键行为进行分区

问题描述 投票:0回答:1

我问自己一个问题,假设我有一个流量F,它被重复X次。然后,所有复制的流都在相同的键上加入,但每次都有不同的数据集。

我希望连接以并行布局运行。对于这种特殊情况,我是否需要在“按键分区”组件中使用X时间,还是只能在复制的输入中放置一个(而不是每个重复输出1个)?

TLDR:这个图https://ibb.co/hHmk5e相当于https://ibb.co/i2NNJz假设所有连接都出现在相同的密钥上

谢谢,

bigdata partitioning ab-initio
1个回答
2
投票

将Replicate用于多个按键分区。如果您在复制后考虑删除它们并在复制之前放置一个检查点,则请检查检查点。

© www.soinside.com 2019 - 2024. All rights reserved.