为什么Spark的Word2Vec会返回Vector？

Question

运行Spark's example for Word2Vec，我意识到它需要一个字符串数组并给出一个向量。我的问题是，它不应该返回矩阵而不是向量吗？我期待每个输入字一个向量。但它返回一个向量周期！

或者也许它应该接受字符串，而不是字符串数组（一个字）作为输入。然后，是的，它可以返回一个向量作为输出。但是接受一个字符串数组并返回一个单一的向量对我来说没有意义。

[UPDATE]

根据@ Shaido的请求，这里是我的次要更改的代码，用于输出输出的模式：

public class JavaWord2VecExample {
    public static void main(String[] args) {
        SparkSession spark = SparkSession
                .builder()
                .appName("JavaWord2VecExample")
                .getOrCreate();

        // $example on$
        // Input data: Each row is a bag of words from a sentence or document.
        List<Row> data = Arrays.asList(
                RowFactory.create(Arrays.asList("Hi I heard about Spark".split(" "))),
                RowFactory.create(Arrays.asList("I wish Java could use case classes".split(" "))),
                RowFactory.create(Arrays.asList("Logistic regression models are neat".split(" ")))
        );
        StructType schema = new StructType(new StructField[]{
                new StructField("text", new ArrayType(DataTypes.StringType, true), false, Metadata.empty())
        });
        Dataset<Row> documentDF = spark.createDataFrame(data, schema);

        // Learn a mapping from words to Vectors.
        Word2Vec word2Vec = new Word2Vec()
                .setInputCol("text")
                .setOutputCol("result")
                .setVectorSize(7)
                .setMinCount(0);

        Word2VecModel model = word2Vec.fit(documentDF);
        Dataset<Row> result = model.transform(documentDF);

        for (Row row : result.collectAsList()) {
            List<String> text = row.getList(0);
            System.out.println("Schema: " + row.schema());
            Vector vector = (Vector) row.get(1);
            System.out.println("Text: " + text + " => \nVector: " + vector + "\n");
        }
        // $example off$

        spark.stop();
    }
}

它打印：

Schema: StructType(StructField(text,ArrayType(StringType,true),false), StructField(result,org.apache.spark.ml.linalg.VectorUDT@3bfc3ba7,true))
Text: [Hi, I, heard, about, Spark] => 
Vector: [-0.0033279924420639875,-0.0024428479373455048,0.01406305879354477,0.030621735751628878,0.00792500376701355,0.02839711122214794,-0.02286271695047617]

Schema: StructType(StructField(text,ArrayType(StringType,true),false), StructField(result,org.apache.spark.ml.linalg.VectorUDT@3bfc3ba7,true))
Text: [I, wish, Java, could, use, case, classes] => 
Vector: [-9.96453288410391E-4,-0.013741840076233658,0.013064394239336252,-0.01155538750546319,-0.010510949650779366,0.004538436819400106,-0.0036846946126648356]

Schema: StructType(StructField(text,ArrayType(StringType,true),false), StructField(result,org.apache.spark.ml.linalg.VectorUDT@3bfc3ba7,true))
Text: [Logistic, regression, models, are, neat] => 
Vector: [0.012510885251685977,-0.014472834207117558,0.002779599279165268,0.0022389178164303304,0.012743516173213721,-0.02409198731184006,0.017409833287820222]

如果我错了，请纠正我，但输入是一个字符串数组，输出是一个向量。我期待每个单词都被映射到一个向量中。

Answer 1

这是试图在这里证明Spark的基本原理，并且应该将其作为对已经作为答案提供的良好编程解释的补充...

首先，单个单词嵌入应该如何组合原则上不是Word2Vec模型本身的特征（大概是单个单词），而是“高阶”模型关注的问题，例如Sentence2Vec， Paragraph2Vec，Doc2Vec，Wikipedia2Vec等（你可以说出更多，我猜......）。

话虽如此，事实证明，组合单词向量以获得较大文本（短语，句子，推文等）的向量表示的第一种方法确实是简单地平均构成单词的向量表示，如Spark ML确实如此。

从实践社区开始，我们有：

How to concatenate word vectors to form sentence vector（SO回答）：

至少有三种常用方法可以组合嵌入向量; （a）求和，（b）求和和平均或（c）连接。 [...]参见gensim.models.doc2vec.Doc2Vec，dm_concat和dm_mean - 它允许您使用这三个选项中的任何一个

Sentence2Vec : Evaluation of popular theories — Part I (Simple average of word vectors)（博客文章）：

那么当你有单词向量并需要计算句子向量时，你首先想到的是什么。

只是平均吗？

是的，这就是我们在这里要做的。

Sentence2Vec（Github repo）：

Word2Vec可以帮助找到具有类似语义含义的其他单词。但是，Word2Vec每次只能占用1个单词，而句子由多个单词组成。为了解决这个问题，我编写了Sentence2Vec，它实际上是Word2Vec的包装器。为了获得句子的向量，我只需得到句子中每个单词的平均向量和。

毫无疑问，至少对于从业者来说，单个单词向量的这种简单平均化远非出乎意料。

这里一个预期的反驳论点是，博客文章和SO答案可能不是那些可信的来源;那些研究人员和相关的科学文献呢？嗯，事实证明，这种简单的平均化在这里也是非常罕见的：

来自Distributed Representations of Sentences and Documents（Le＆Mikolov，Google，ICML 2014）：

来自NILC-USP at SemEval-2017 Task 4: A Multi-view Ensemble for Twitter Sentiment analysis（SemEval 2017，第2.1.2节）：

---

现在应该清楚的是，Spark ML中的特定设计选择远非任意，甚至不常见;我在博客中写到了Spark ML中看起来荒谬的设计选择（参见Classification in Spark 2.0: “Input validation failed” and other wondrous tales），但似乎并非如此......

Answer 2

要查看与每个单词对应的向量，您可以运行model.getVectors。对于问题中的数据框（向量大小为3而不是7），这给出了：

+----------+-----------------------------------------------------------------+
|word      |vector                                                           |
+----------+-----------------------------------------------------------------+
|heard     |[0.14950960874557495,-0.11237259954214096,-0.03993036597967148]  |
|are       |[-0.16390761733055115,-0.14509087800979614,0.11349033564329147]  |
|neat      |[0.13949351012706757,0.08127426356077194,0.15970033407211304]    |
|classes   |[0.03703496977686882,0.05841822177171707,-0.02267565205693245]   |
|I         |[-0.018915412947535515,-0.13099457323551178,0.14300788938999176] |
|regression|[0.1529865264892578,0.060659825801849365,0.07735282927751541]    |
|Logistic  |[-0.12702016532421112,0.09839040040969849,-0.10370948910713196]  |
|Spark     |[-0.053579315543174744,0.14673036336898804,-0.002033260650932789]|
|could     |[0.12216471135616302,-0.031169598922133446,-0.1427609771490097]  |
|use       |[0.08246973901987076,0.002503493567928672,-0.0796264186501503]   |
|Hi        |[0.16548289358615875,0.06477408856153488,0.09229831397533417]    |
|models    |[-0.05683165416121483,0.009706663899123669,-0.033789146691560745]|
|case      |[0.11626788973808289,0.10363516956567764,-0.07028932124376297]   |
|about     |[-0.1500445008277893,-0.049380943179130554,0.03307584300637245]  |
|Java      |[-0.04074851796030998,0.02809843420982361,-0.16281810402870178]  |
|wish      |[0.11882393807172775,0.13347993791103363,0.14399205148220062]    |
+----------+-----------------------------------------------------------------+

所以每个单词都有它自己的表示。但是，当您向模型输入一个句子（字符串数组）时会发生的情况是，句子中单词的所有向量都会被平均在一起。

来自github implementation：

/**
  * Transform a sentence column to a vector column to represent the whole sentence. The transform
  * is performed by averaging all word vectors it contains.
  */
 @Since("2.0.0")
 override def transform(dataset: Dataset[_]): DataFrame = {
 ...

这很容易确认，例如：

Text: [Logistic, regression, models, are, neat] => 
Vector: [-0.011055880039930344,0.020988055132329465,0.042608972638845444]

第一个元素是通过取五个相关单词的向量的第一个元素的平均值来计算的，

(-0.12702016532421112 + 0.1529865264892578 -0.05683165416121483 -0.16390761733055115 + 0.13949351012706757) / 5

等于-0.011055880039930344。