我可以在 AWS Managed Apache Flink 上的哪里存储 rockDB 状态？

Question

我正在编写一个 Flink 作业来存储状态并使用 RocksDB 执行聚合，但我不确定在哪里可以让 RocksDB 存储状态。在我的本地计算机上，我将其存储在 ~/Downloads/flink-1.15.4/rocksdb/ 中。但在AWS中，我无法使用像file:///rocksdb/这样的存储。我也尝试过存储在 S3 上。

这两种方法都没有效果，我试图避免使用EFS，因为成本太高。最好的方法是什么？

对于我的检查点本身，我可以使用 S3（同时设置我的环境的检查点存储）。这似乎工作正常。

Answer 1

出于性能原因，

rocksdb.localdir

应始终指向本地磁盘。这是 RocksDB 将保持工作状态的地方，并且在每次状态访问时都必须从 S3（例如）读取和写入将是非常痛苦的。

我看不出任何使用 EFS 的理由； EBS没问题。如果您关心性能，请选择 SSD。