弹性密集向量索引大小

Question

我是该领域的新手，正在尝试了解 Elasticsearch 的矢量搜索产品。我正在尝试调整 384 维 2M 向量项目的大小。我听说 Elastic 将值存储为 8 个字节。在这种情况下，索引的大小大致相当于集群的节点内存大小。快速算一下 2 x 384 x 4 = 3TB - 那么我应该寻找至少具有 3TB RAM 的节点的价格吗？

Answer 1

由于数据在变化，向量和索引的大小随着情况的不同而变化。与其估计总大小，不如对其进行测试。获取合理百分比的数据，对其建立索引并查看结果！

举个例子：

在这篇文章中，一个60MB TSV 文件，Microsoft MARCO Passage Ranking 完整数据集，包含 182,469 个文本段落，作为向量索引到 Elasticsearch 中。使用源中的密集向量，需要 360MB 的磁盘空间。