Spark中的Broadcast Annoy对象（对于最近的邻居）？

Question

由于Spark的mllib没有最近邻功能，我试图将Annoy用于近似邻近邻居。我尝试播放Annoy对象并将其传递给工人;但是，它没有按预期运行。

下面是可重现性的代码（在PySpark中运行）。在使用带有vs而没有Spark的Annoy时所看到的差异突出了这个问题。

from annoy import AnnoyIndex
import random
random.seed(42)

f = 40
t = AnnoyIndex(f)  # Length of item vector that will be indexed
allvectors = []
for i in xrange(20):
    v = [random.gauss(0, 1) for z in xrange(f)]
    t.add_item(i, v)
    allvectors.append((i, v))
t.build(10) # 10 trees

# Use Annoy with Spark
sparkvectors = sc.parallelize(allvectors)
bct = sc.broadcast(t)
x = sparkvectors.map(lambda x: bct.value.get_nns_by_vector(vector=x[1], n=5))
print "Five closest neighbors for first vector with Spark:",
print x.first()

# Use Annoy without Spark
print "Five closest neighbors for first vector without Spark:",
print(t.get_nns_by_vector(vector=allvectors[0][1], n=5))

输出见：

与Spark的第一个向量的五个最近邻居：无

没有Spark的第一个向量的五个最近邻居：[0,13,12,6,4]

Answer 1

我从未使用过Annoy，但我很确定包描述解释了这里发生了什么：

它还创建了大型只读的基于文件的数据结构，这些数据被映射到内存中，以便许多进程可以共享相同的数据。

由于它在序列化时使用内存映射索引并将其传递给worker，因此所有数据都会丢失。

尝试这样的事情：

from pyspark import SparkFiles

t.save("index.ann")
sc.addPyFile("index.ann")

def find_neighbors(iter):
    t = AnnoyIndex(f)
    t.load(SparkFiles.get("index.ann"))
    return (t.get_nns_by_vector(vector=x[1], n=5) for x in iter)

sparkvectors.mapPartitions(find_neighbors).first()
## [0, 13, 12, 6, 4]

Answer 2

为了防止其他人像我一样跟随这里，你需要在mapPartitions函数中导入Annoy，否则你仍会遇到酸洗错误。这是基于以上内容的完整示例：

from annoy import AnnoyIndex

from pyspark import SparkFiles
from pyspark import SparkContext
from pyspark import SparkConf

import random
random.seed(42)

f = 1024
t = AnnoyIndex(f)
allvectors = []
for i in range(100):
    v = [random.gauss(0, 1) for z in range(f)]
    t.add_item(i, v)
    allvectors.append((i, v))

t.build(10)
t.save("index.ann")

def find_neighbors(i):
    from annoy import AnnoyIndex
    ai = AnnoyIndex(f)
    ai.load(SparkFiles.get("index.ann"))
    return (ai.get_nns_by_vector(vector=x[1], n=5) for x in i)

with SparkContext(conf=SparkConf().setAppName("myannoy")) as sc:
  sc.addFile("index.ann")
  sparkvectors = sc.parallelize(allvectors)
  sparkvectors.mapPartitions(find_neighbors).first()