如何在图像上应用word2vec?

问题描述 投票:3回答:2

我一直在研究Google的word2vec模型。我能够为文本词语料库生成最多300维的向量。对于大数据而言,这是一个非常令人印象深刻的工具,准确性更高。

我很好奇,有没有办法使用word2vec在灰度图像上生成矢量。我确信方法是相同的,您可以根据像素强度生成矢量,然后计算余弦相似度。

我正在尝试构建一个模型来计算灰度图像上的相似距离。除了word2vec或手机上的文字之外,任何图书馆都能做到这一点吗?

python image-processing machine-learning word2vec
2个回答
3
投票

Word2vec不是一个很好的图像模型,但我认为你真正需要的是一个bag of word model。在图像比较的基本方法中,您将图像转换为关键点要素列表(例如SIFT,SURF等),然后将点集合相互匹配(例如FLANN)。

图像中的大量特征和每个点表示的不确定性使得难以使用诸如word2vec的基本单层网络学习来进行图像识别。你可以在这个tutorials找到更好的例子。

3年后的更新:我还应该提到ConvNets和几个预先训练好的模型,你可以从像素中提取视觉特征。


4
投票

我同意你的观点,word2vec是一个非常令人印象深刻的工具,但是这个模型是通过预测某篇文章或新闻中的下一个词来训练的。总而言之,我认为在图像上使用word2vec是没有意义的。

你可以使用skimage做一些图像测量。例如skimage-measure

© www.soinside.com 2019 - 2024. All rights reserved.