word-embedding 相关问题

有关字嵌入的问题,自然语言处理中的语言建模技术。问题可能涉及特定方法,例如Word2Vec,GloVe,FastText等,或者字嵌入及其在机器学习库中的使用。

为什么在第一篇注意力论文中没有使用单词嵌入(Glove,word2vecetc)?

在文章中通过共同学习对齐和翻译Bahdanau等的神经机器翻译。人。为什么没有使用像Glove或word2vec这样的嵌入词?我明白这是2014年...

回答 1 投票 0

文档与Word Mover距离和Bert-Embedding的相似性

我试图使用基于Google BERT的文字嵌入来计算两个任意文档的文档相似度(最近邻居)。为了从Bert获得单词嵌入,我使用bert -...

回答 1 投票 1

如何在tensorflow中存储一个非常大的变量?

我必须训练一个非常大的嵌入式字典(大约1TB)。我有很多机器,所以我可以使用tensorflow的分布式训练。但是,我发现我无法在Parameter中构造一个非常大的变量...

回答 1 投票 2

是否有替代方法可以在内存中完全加载预先训练好的字嵌入?

我想在我的机器学习模型中使用预先训练过的单词嵌入。我拥有的嵌入文件大约是4GB。我目前在字典中将整个文件读入内存,每当我想...

回答 1 投票 1

关于单词嵌入的问题(word2vec)[关闭]

我试图理解word2vec(字嵌入)架构,我对此几乎没有疑问:首先,为什么word2vec模型被认为是对数线性模型?是因为它在...时使用了最大值

回答 1 投票 1

Word嵌入,LookupTable,Word嵌入可视化

我需要问几个关于单词嵌入的问题.....可能是基本的。当我们将单词的一个热矢量例如king [0 0 0 1 0]转换为嵌入向量E = [0.2,0.4,0.2,0.2] ....

回答 1 投票 1

为什么word2vec胜过其他神经网络方法?

为什么word2vec胜过其他神经网络方法? Word2vec比其他神经网络方法(NNLM,RNNLM等)更浅。可以解释一下吗?我想知道它是否受到影响......

回答 1 投票 0

Gensim doc2vec最相似的给出了不支持的操作数类型错误

当我试图找到与我的样本文档最相似的文档时,我正在使用预先训练的doc2vec模型。它给了我不支持的操作数类型错误。来自gensim.models导入Doc2Vec ...

回答 1 投票 0

TensorFlow Universal Sentence Encoder Lite嵌入的有限范围?

从TensorFlow.js中的通用句子编码器开始,我注意到嵌入中的数字范围不是我预期的。我期待在[0-1]或[-1,...之间分配一些...

回答 1 投票 0

文本分类:值错误无法将str转换为float

用于文本分类的随机森林分类器训练模型的输入在从pickle文件打开模型之后,我无法知道训练模型的输入应该是什么。打开(...

回答 1 投票 2

来自Keras的lm_1b的字符嵌入

我想在Keras NN模型中使用一些经过预先训练的单词嵌入,这些模型已由Google在一篇非常着名的文章中发表。他们提供了训练新模型的代码,以及...

回答 2 投票 16

word2vec - 什么是最好的?添加,连接或平均单词向量?

我正在研究一种复发语言模型。要学习可用于初始化我的语言模型的单词嵌入,我使用的是gensim的word2vec模型。经过训练,word2vec模型拥有两个......

回答 3 投票 6

WordPiece标记化如何有效地处理NLP中的罕见单词问题?

我已经看到像BERT这样的NLP模型利用WordPiece进行标记化。在WordPiece中,我们将游戏分为玩游戏和## ing。有人提到它涵盖了更广泛的Out-Of -...

回答 1 投票 5

预训练的GloVe矢量文件中的“unk”是什么(例如,gloves.6B.50d.txt)?

我在https://nlp.stanford.edu/projects/glove/下载的手套矢量文件gloves.6B.50d.txt中找到了“unk”令牌。其值如下:unk -0.79149 0.86617 0.11998 0.00092287 0.2776 -0 ....

回答 2 投票 11

word2vec向量的Keras输入规范

我阅读了有关此主题的所有其他答案,但我的用例略有不同。我有一个numpy阵形(800,128,1)。 800个元素中的每个元素都存储了一个word2vec嵌入...

回答 1 投票 0

如何在Keras中使用数组列表指定一个嵌入层的输入?

我正在尝试做一些单词级别的文本生成并坚持使用以下问题:我的输入看起来像这样:tokenized_seq = [[w2v_model.wv.vocab [word] .index for w2v_data [i]中的单词] for i in ...

回答 1 投票 1

单词A和B之间的语义相似性:语料库中A和B频率的依赖性?

背景:给定一个语料库我想用word2wec(Gensim)的实现来训练它。想知道2个令牌之间的最终相似性是否依赖于A和B的频率......

回答 3 投票 1

用例子说明:如何在keras中嵌入图层

我不明白Keras的嵌入层。虽然有很多文章在解释它,但我仍然感到困惑。例如,下面的代码来自imdb情感分析:top_words = 5000 ...

回答 1 投票 14

Doc2vec预测 - 我们是否对新段落的单词或段落ID进行平均?

我知道您在训练期间将段落ID视为doc2vec中的新词(DM方法,图中左侧)。训练输出是上下文单词。模型训练完毕后,假设我......

回答 2 投票 1

有没有办法增加预训练的Word嵌入的维度?

我几乎刚接触NLP研究,在NLP中使用NLP和机器学习技术。我现在要处理的问题是,是否有一些方法可以增加......

回答 1 投票 1

© www.soinside.com 2019 - 2024. All rights reserved.