单词向量是否意味着什么?

问题描述 投票:-2回答:2

根据我的理解,单词向量仅用于与其他单词向量的关系。例如,“king”的单词vector减去“boy”的单词vector,应该给出一个接近“queen”的向量。

给定一个未知单词的向量,可以仅基于该向量的值来做出关于单词的假设吗?

machine-learning data-science word2vec text-analysis word-embedding
2个回答
1
投票

各个坐标 - 例如300维向量的维#7等 - 没有易于解释的含义。

它主要是与其他单词(邻域)的相对距离,以及相对于其他单词星座的相对方向(不考虑垂直坐标轴的方向,可能是模糊可解释的,因为它们与自然语言或自然思维语义相关联。

此外,模型的训练前初始化以及训练本身的大部分使用随机化。因此,即使在完全相同的数据上,在重复训练运行时,单词也会在不同的坐标中结束。

在每次运行之后,所产生的单词向量应该在距离和方向方面相互有用,但是诸如“描述季节的单词”或“那些'热'的东西”之类的邻域可能位于非常不同的位置。后续运行。只有一起训练的矢量具有可比性。

(word2vec有一些受限制的变体,试图强迫某些维度或方向对某些目的更有用,例如回答问题或检测上位词/下位词关系 - 但这需要额外的约束或对训练过程的输入。普通香草word2vec不会那么干净地解释。)


0
投票

您无法根据单词向量的值对单词进行假设。单个单词向量本身不携带信息或含义,但仅包含与其他单词向量相关的含义。

使用诸如Word2Vec和GloVe之类的算法的单词向量被计算并且依赖于序列中单词的共同出现。例如,Word2Vec使用两个向量的点积作为softmax函数的输入,该函数近似于这两个单词出现在同一序列中的条件概率。然后确定字向量,使得在相同上下文中频繁出现的字被映射到相似的向量。因此,单词向量捕获语法和语义信息。

© www.soinside.com 2019 - 2024. All rights reserved.