gensim 相关问题

Gensim是一个免费的Python框架,旨在自动从文档中提取语义主题,尽可能高效(计算机方面)和无痛(人性化)。

如何防止人工智能模型在预定义语料库之外生成自己的答案?

所以我正在使用Python开发一个聊天机器人。我集成了一个名为 Word2Vec 的矢量数据库,并使用 Hugging Face 中的 Zephyr 模型。我创建了一个非常简单的文本文件语料库,我想要...

回答 1 投票 0

Gensim Doc2VecKeyedVectors 调用similar_by_vector() 会导致“需要解包的值太多”

我使用 Gensim 4.0 将向量存储在 Doc2VecKeyedVectors 中以执行相似性查找,但出现错误。 这是一些示例代码: 型号 = 语料库 = 我使用 Gensim 4.0 将向量存储在 Doc2VecKeyedVectors 中以执行相似性查找,但出现错误。 这是一些示例代码: model = <load a Doc2Vec model> corpus = <load an object which returns key/words pairs> kv = Doc2VecKeyedVectors(vector_size=50) for key, words in corpus: vector = model.infer_vector(words) kv.add_vector(key, vector) test_words = ['word1', 'word2', ...] vector = model.infer_vector(test_words) sims = kv.similar_by_vector(vector, topn=200) 在most_similar()方法中keyedvectors.py的第758行调用similar_by_vector()会抛出“ValueError:太多值无法解包(预期为2)”。 我浏览了源代码,看起来它期望密钥与向量一起传入,根据方法签名,这似乎很奇怪。 关于我做错了什么有什么想法吗? 我发现了问题所在。我给出的代码示例忽略了这样一个事实:对 infer_vector() 的调用实际上是对远程服务器的调用,该服务器返回浮点数列表,而不是 ndarray。好吧,在调用 simple_by_vector() 之前我从未将其转换回 ndarray,这就是问题的原因。

回答 1 投票 0

重新训练和保存后无法加载微调的 fasttext wiki 模型

我正在微调最快的 wiki 模型,如下所示。这很好用。微调后,我保存重新训练的模型。 从 gensim.models 导入 fasttext 模型= fasttext.load_facebook_model(数据路径(“

回答 1 投票 0

word2vec 无法使用 gensim 库工作

我正在尝试使用 gensim 提供的 word2vec 模型对我的数据集进行矢量化。我面临着 scipy 提出的错误。 从 gensim.models 导入 Word2Vec 从 nltk.tokenize 导入 word_tokenize 导入...

回答 1 投票 0

Gensim 的 Doc2Vec 包含多种语言的文档

我正在利用文档向量表示的相似性构建一个基于内容的推荐系统。 我的文档是书籍的描述。大多数是英文的,但也有一些是

回答 1 投票 0

使用word2vec对类别中的单词进行分类

背景 我有带有一些样本数据的向量,每个向量都有一个类别名称(地点、颜色、名称)。 ['约翰','杰伊','丹','内森','鲍勃'] -> '名字' ['黄色', '红色', '绿色'] -> '科罗拉多州...

回答 3 投票 0

下载gensim数据集时出现ValueError

我想下载 gensim glove-wiki-gigaword-100 数据集。这是我的代码 导入 gensim.downloader 作为 api 模型 = api.load("glove-wiki-gigaword-100") 但我收到这个错误

回答 4 投票 0

导入错误:无法从“scipy.linalg”导入名称“triu”。换版本也没用

我正在尝试运行使用 gensim.models 中的 word2vec 的代码,每次我尝试运行它时,都会出现此错误: ImportError:无法从“scipy.linalg”导入名称“triu” - Gensim 我已经尝试过...

回答 1 投票 0

如何使用gensim使用deepset的词嵌入预训练模型?

我试图理解 word2vec,并决定尝试一下德语 word2vec 模型。然后我找到了 deepset 的关于他们预训练模型的页面,但我不明白如何使用......

回答 4 投票 0

导入错误:无法从“scipy.linalg”导入名称“triu”-Gensim

我正在尝试使用 Gensim 构建 ML 脚本,但当我尝试运行代码时,我不断收到此错误。 ImportError:无法从“scipy.linalg”导入名称“triu” 有什么想法吗?

回答 1 投票 0


与 Gensim 相比,pyTorch 的训练时间非常长

我使用 Brown 语料库和 gensim 训练了一个 word2vec 模型,如下所示: 模型 = gensim.models.Word2Vec(brown.sents(),min_count = 5, 矢量大小 = 30,窗口 = 5,

回答 1 投票 0

PyLDAvis 开始给出 TypeError:Complex128 类型的对象不可 JSON 序列化

在 VS Code 中使用 LDA 分析对“百万头条新闻”进行 Uni 分配。 多次运行代码,但在增加 LDA 中的主题数量并重新运行代码后,我的 pyLDA...

回答 1 投票 0

导入错误:无法从部分初始化的模块“gensim.parsing.preprocessing”导入名称“remove_stopwords”

我有Python 3.12.2和gensim 4.3.2,但是当我尝试在Python代码中使用Import gensim时,出现以下错误: ImportError Traceback(最近一次调用最后一次) 细胞...

回答 1 投票 0

Gensim HDP - 文档的热门主题分布

我想要我的文档的主题分布。然而,Gensim 的 HDP 的 show_topic() 默认返回 20 个主题。我想他们不应该是最好的。深入挖掘后,我发现......

回答 1 投票 0

Spacy 使用什么来创建矢量表示?

Spacy 创建矢量表示的内置方法是什么? 我对我的语料库进行了 NLP,然后使用 .similarity(余弦相似度)来绘制出“相似”的文档。不过,我是

回答 2 投票 0

TypeError:“Word2Vec”对象不可下标

我正在尝试构建 Word2vec 模型,但是当我尝试重塑标记向量时,出现此错误。任何想法 ? wordvec_arrays = np.zeros((len(tokenized_tweet), 100)) 对于我在范围内(len(

回答 4 投票 0

加载.tar格式的word2vec模型

我想将之前训练好的word2vec模型加载到gensim中。问题在于文件格式。它不是 .bin 文件格式,而是 .tar 文件。它是模型/文件 deu-ch_web-public_2019_1M.tar.g...

回答 1 投票 0

Gensim lda 给出负对数困惑值 - 这是正常的吗?我该如何解释它?

我目前正在使用 Gensim LDA 进行主题建模。 在调整超参数时,我发现该模型总是给出负对数困惑度 模特有这样的表现正常吗? (是吗……

回答 1 投票 0

为什么我在安装 gensim 包时出现错误

为收集到的包造轮子:gensim gensim 的构建轮子(pyproject.toml)...错误 错误:子进程退出并出现错误 × gensim 的构建轮 (pyproject.toml) 未运行

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.