句子编码和上下文化词嵌入有什么区别？

Question

[在阅读有关BERT和ELMo的论文时，我已经看过两个术语，所以我想知道它们之间是否有区别。

Answer 1

• 上下文化词嵌入是在特殊上下文中表示词的向量。诸如Word2Vec和GloVe的传统单词嵌入为每个单词生成一个矢量，而上下文化单词嵌入则根据上下文生成一个单词的矢量。考虑句子The duck is swimming和You shall duck when someone shoots at you。使用传统的词嵌入，duck的词向量在两个句子中都将是相同的，而在上下文情况下，它应该是不同的。
• 虽然词嵌入将词编码为向量表示形式，但还有一个问题是如何用计算机可以轻松使用的方式来表示整个句子。这些句子编码可以将整个句子作为一个向量嵌入，例如doc2vec，它为一个句子生成向量。但是BERT也会为整个句子[CLS]-令牌生成一个表示。

因此，简而言之，嵌入的单词表示上下文中的单词，而句子编码表示整个句子。