如何对 Amazon S3 等云存储系统进行基准测试

Question

我开发了一个云存储系统，使用与Amazon S3相同的API结构。现在我想对获取对象数据和对象元数据运行一些性能测试。这样我就可以将我的系统与 Amazon S3、OpenStack 存储和其他系统进行比较。

我看过一些常见的文件系统基准测试工具，将它们转换为云存储系统需要太多工作。

我正在寻找一些类似于SIEGE的基准测试工具，它不仅可以性能http请求，而且还具有一些工作负载模拟功能。例如，一种模拟可以将整个静态 HTML 网站存储在云存储中，然后执行一些工作负载压力测试等。

有人可以帮助并建议一些现有的框架或工具，它们可以相对容易地适合这种云存储系统基准测试场景吗？

Answer 1

您可以查看COSBench，这是一个对象存储云服务基准测试工具。

Answer 2

COSBench 是一个很好的解决方案，但已经过时了。最后一次有效提交是在2017。

我建议：

第二个主要是我自己做的。它正在持续开发中，旨在测试的不仅仅是 S3 对象存储。测试套件包含：

Answer 3

我强烈建议使用

fio

http 引擎而不是上面提到的建议。它比之前建议的要成熟得多，并且支持 S3 并且非常可配置。