从 Faiss 索引中删除向量时出现问题

Question

我使用remove_ids方法从faiss索引中删除了一些向量，删除向量后，搜索结果非常不正确。有人有这方面的一些信息吗？如何正确从 faiss 索引中删除向量而不影响搜索结果

以下是我用来删除id的代码

import numpy as np
import faiss
index = faiss.read_index('index.faiss')
ids_to_remove=[1]
ids_to_remove_array=np.array(ids_to_remove,dtype=np.int64)
index.remove_ids(ids_to_remove_array)
faiss.write_index(index,'index.faiss')

Answer 1

不同的 Faiss 索引类型以不同的方式处理向量的删除。了解从各种索引类型中删除向量相关的细微差别对于确保搜索结果的稳定性和准确性至关重要。

以下是不同索引类型如何处理删除操作的详细说明：

1. 顺序索引（IndexFlat、IndexPQ、IndexLSH）

移除操作将向量的 id 移到移除的向量 id 之上。

2. IndexIVF 和 IndexIDMap2

显式存储向量的 id，因此其他向量的 id 不会改变。 IndexIVF 有两种特殊情况：

• DirectMap 类型的 Array 不支持删除，因为这意味着所有索引都会被移动，这看起来不太有用。
• 使用直接映射类型Hashtable和选择器IDSelectorArray可以删除元素而无需扫描整个索引。

因此，如果保留搜索结果的 ID 是一个关键要求，建议使用 IndexIVF 或 IndexIDMap2。值得注意的是，删除向量可能会改变搜索结果。发生这种情况是因为删除可能会影响相邻的单元格，甚至破坏索引内的特定结构组件。