有关字嵌入的问题,自然语言处理中的语言建模技术。问题可能涉及特定方法,例如Word2Vec,GloVe,FastText等,或者字嵌入及其在机器学习库中的使用。
关于词嵌入,为什么我要重新计算每个样本的所有词汇 SoftMax 输出的总和?
关于词嵌入,为什么我要重新计算每个样本的所有词汇 SoftMax 输出的总和?不是词汇常数,因此对于某些词汇,总和应该是常数...
在 R 中工作。我知道预训练的 GloVe 嵌入(例如,“glove.6B.50d.txt”)可以在这里找到:https://nlp.stanford.edu/projects/glove/。但是,我将这个文本文件读入...的运气为零。
Redis Search:加载redis中的所有向量后索引大小为0
我已经开始探索 redis 向量搜索模块,我正在按照本教程进行 redis 向量搜索: https://github.com/RediSearch/RediSearch/blob/master/docs/docs/vecsim-range_queries_examples.
我正在训练一个嵌入模型,并希望将多个嵌入保存到一个检查点文件中,以便在我的本地 Tensorboard 投影仪中进行可视化。我在 t...的接受答案中尝试了 TF1 解决方案
Word2Vec 在基于文本的抄袭检测中是否比 WordNet 或任何其他词嵌入(如 GloVe、fastText 等)更有效?
我是Word2Vec的初学者,刚开始从网上学习Word2vec。我几乎已经解决了 Quora 和 StackOverflow 中的所有问题,但没有得到我的答案
我正在使用元路径进行嵌入。我加载了一个异构图形数据集。我使用 pytorch-geometric 文档制作了这个。这是有关数据集的信息。 异数据( 发布={ ...
我想评估我的 FastText 模型(在我自己的语料库上训练)。 对于语义意义,我知道我们可以使用一个数据集,其中包含几对由人类评分的两个词,...
使用预训练的fasttext模型时,gensim如何计算句子嵌入?
根据这个答案,FastText 的句子相似度是用两种方法之一计算的(取决于嵌入是创建有监督的还是无监督的) 归一化词的均值 v...
我目前正在尝试创建一个带有词嵌入的 LDA 模型。这是代码: 从 gensim.models.ldamodel 导入 LdaModel 从 gensim.corpor.dictionary 导入字典 来自 gensim.test.ut...
假设我有一个包含 1000 个口袋妖怪的数据集,我有 10 个皮卡丘图像,10 个 Bulbasaur 图像等。 我还有一个元数据,准确指定了每个口袋妖怪的名称。所以从元数据中,我可以...
刚开始学习抱脸变形器。我正在尝试创建大量文本的嵌入,但我总是遇到 outOfMemoryErrors。我不确定我做错了什么。我是新来的...
我想使用 Pytorch(不是 tensorflow)在本地运行文本嵌入投影仪。 一切都已安装并运行此评论使 TensolBoard 为空: 导入关键字 进口手电筒 元 = []
如何从 sparknlp 中的 WordEmbeddingsModel 获取词汇
我需要根据 Sparknlp 中的 WordEmbeddingsModel 生成的嵌入创建一个嵌入矩阵。直到现在我有这段代码: 从 sparknlp.annotator 导入 * 从 sparknlp.common 导入 * 来自
huggingFace bert模型中的embedding元素代表什么?
在通过 BERT 模型中的编码器传递我的令牌之前,我想对它们的嵌入执行一些处理。我使用以下方法提取了嵌入权重: 从变压器导入 TFBertModel ...
Gensim的 "model.wv.most_similar "返回语音相似的词。
gensim的wv.most_similar返回的是语音上接近的词(相似的声音) 而不是语义上相似的。这正常吗?为什么会出现这种情况?以下是关于 most_similar 的文档: ...
我看了其他有类似问题的帖子,似乎我的模型是过拟合的。然而,我已经尝试过正则化、dropout、减少参数、降低学习率和 ...
观察嵌入层有无dropout的输出,发现数组中的值都被替换为0,但是为什么数组中的其他值也发生了变化?以下是我的模型:-...
SpaCy中的每个单词都用一个长度为300的向量来表示。我如何在散点图上绘制这些单词,以获得一个可视化的视角来了解任何两个单词的接近程度?
假设我有一连串的单词句子,"I like food",如果我用keras one_hot:from keras.preprocessing one_hot(I like food',50)得到如下值。"I like food" 如果我用 keras one_hot: from keras.preprocessing.text import one_hot one_hot('I like food',50) 它给了我以下值:[10,...
我有3类词,分别对应不同类型的心理驱动力(权力需求、成就需求和亲和需求)。目前,在我的样本中,每一份文档(n=...