AWS 中的矢量搜索

Question

我需要在AWS中创建一个Vector数据库。我在 POC 中使用 Pinecone，但出于安全原因，公司需要 AWS 内部的一些东西。我看到有人推荐使用 OpenSearch，但我在博客中看到 OpenSearch 并没有真正做矢量搜索

记录于 https://www.elastic.co/blog/text-similarity-search-with-vectors-in-elasticsearch 向量搜索的方法与其他方法具有完全相同的局限性 我们用 Solr 观察到：它将检索与 搜索条件（关键字查询以及文档过滤器 属性），并用向量相似度对它们进行评分 选择（余弦距离、点积或 L1/L2 范数）。即向量 检索期间不会使用相似性（首先且昂贵 步骤）：它将在文档评分期间使用（第二步）。 因此，由于您无法提前知道需要多少文档 获取与语义最相关的表面，数学思想 矢量搜索并没有真正应用。

有人知道任何替代方案吗？或者 OpenSearch 是我们在 AWS 中能做的最好的选择吗？我也看到一些人在谈论使用 DynamoDB，但我并不完全理解它是如何工作的。如果有人有任何想法或建议，我将不胜感激。

来源：https://towardsdatascience.com/speeding-up-bert-search-in-elasticsearch-750f1f34f455

Answer 1

尝试一些较新的，如 qdrant、weaviate、milvus 。比 opensearch 更容易使用且资源消耗更少。

Answer 2

Amazon OpenSearch 有一个基于矢量的搜索插件，称为

kNN

，并具有允许用户执行语义搜索的实验性功能。

参考：K-NN
AWS K-NN
语义搜索功能

Answer 3

我们正在构建一个新的开源矢量数据库https://github.com/epsilla-cloud/vectordb，请尝试一下，我们希望得到您的反馈！

• 快速入门：https://epsilla-inc.gitbook.io/epsilladb/quick-start