word2vec 相关问题

该工具提供了用于计算单词的矢量表示的连续词袋和跳过 - 克结构的有效实现。这些表示随后可用于许多自然语言处理应用程序和进一步研究。

Python word2vec 更新

我正在尝试将这段旧代码片段转换为与 gensim 的更新版本一致。我能够将 model.wv.vocab 转换为 model.wv.key_to_index 但模型有问题[

回答 1 投票 0

如何加载预训练的Word2vec模型文件并重复使用?

我想使用预训练的word2vec模型,但我不知道如何在python中加载它。 该文件是一个模型文件 (703 MB)。 可以在这里下载: http://devmount.github.io/GermanWordEmbeddings/

回答 4 投票 0

与最相似的单词混淆?

我正在研究来自 nlp.stanford.edu/projects/glove (glove.6B.50d.txt) 的矢量预训练的类比(著名的“国王 - 女人 + 男人 = 女王”),但我得到了令人困惑的结果: 比喻 我...

回答 1 投票 0

Gensim 3.8.0 至 Gensim 4.0.0

我使用 Gensim 3.8.0 训练了 Word2Vec 模型。后来我尝试在GCP上使用Gensim 4.0.o来使用预训练模型。我使用了以下代码: 模型 = KeyedVectors.load_word2vec_format(wv_path,

回答 4 投票 0

主题连贯性(w2v)及其趋势?

我尝试使用w2v主题连贯性分数来评估基于NMF的主题模型。 下面是我计算的 w2v 相干性。 我想知道,w2v 相干性越高越好吗? 另外,为什么

回答 1 投票 0

使用 python (ML) 从 .BIN 文件加载嵌入模型

我在从 .BIN 文件加载嵌入模型时遇到问题,当我尝试读取模型时收到此消息错误: UnicodeDecodeError:“utf-8”编解码器无法解码位置 6 中的字节 0xd6:无效

回答 1 投票 0

在 gensim word2vec 模型中所有相似性都为正是正常的吗?

在一系列汉字上实现标准的gensim word2vec模型(连续词袋),以及(中文同音词和相似频率词之间的比较)我们的余弦

回答 1 投票 0

什么是对 Word2vec 生成的平均向量的良好替代品

我的数据集采用以下格式,其中对于每种疾病,我使用 word2vec 生成 2D 向量。(例如显示 2D 向量,但实际上,向量为 100D ) 疾病...

回答 1 投票 0

如何从 gensim W2V 模型获取所有向量的转储?

使用 KeyedVectors 对象,我可以得到 W2V 向量,给定一个单词,就像这样。 从 gensim.models 导入 KeyedVectors 模型 = KeyedVectors.load('vectors.kv') model.get_vector('example') # 输出 =...

回答 1 投票 0

使用 Word2Vec 进行向量化时传递到 MultinomialNB 的数据中的负值

我目前正在开发一个项目,尝试将 Word2Vec 与多项式朴素贝叶斯 (MultinomialNB) 结合使用来进行精度计算。 将 pandas 导入为 pd 将 numpy 导入为 n...

回答 1 投票 0

Word2Vec - 在训练数据或整个数据上进行训练

我希望创建一个 word2vec 模型并希望在我的本地数据上训练它。所以,问题是,我应该在整个数据上训练 word2vec 模型,还是应该将数据分成训练和测试,然后......

回答 1 投票 0

文本到标签相似度word2vec

我们的用户将提供有关其职业的 2 至 3 句话描述。 示例用户 A(个人资料描述):我是一名住在柏林的数据科学家,我喜欢日本菜,我也感兴趣......

回答 1 投票 0

EOFError:输入意外结束;计数是否不正确或文件是否损坏?不知道怎么解决

当我尝试在 Jupyter Notebook 中运行此代码段时,我的代码遇到了这个问题,任何人都可以告诉我如何修复它吗?我正在尝试使用 word2vec 连续袋模型,并且

回答 2 投票 0

在 python 中出现“__init__() 有一个意外的关键字参数‘文档’”这个错误我正在使用 Word2Vec 和 gensim

我正在使用Word2vec和gensim进行项目, 模型 = gensim.models.Word2Vec( 文档 = 'userDataFile.txt', 尺寸=150, 窗口=10, 最小计数=2, 工人=10) 模型 = gensim.mo...

回答 5 投票 0

如何用序列固定数组元素?

遇到这个问题,我不知道如何解决? ValueError Traceback(最近一次调用最后一次) 第 2 行 [8] 中的单元格 1 # 根据单词 v 生成聚合句子向量...

回答 1 投票 0

gensim 错误:导入错误:没有名为“gensim”的模块

我尝试导入 gensim 导入gensim 但出现以下错误 ImportError Traceback(最近调用 最后的) 在 我尝试使用 导入 gensim import gensim 但是出现以下错误 ImportError Traceback (most recent call last) <ipython-input-5-50007be813d4> in <module>() ----> 1 import gensim 2 model = gensim.models.Word2Vec.load_word2vec_format('./model /GoogleNews-vectors-negative300.bin', binary=True) ImportError: No module named 'gensim' 我在python中安装了gensim。我使用 genssim 作为 word2vec。 安装 gensim 使用: pip install -U gensim 或者,如果您下载并解压了 source tar.gz 包,则运行: python setup.py test python setup.py install 如果使用Python3,请务必使用pip3而不是pip来安装gensim。 在 Jupyter 笔记本上,以下对我有用 !python -m pip install -U gensim 或者,以管理员身份运行 Anaconda 提示符并执行以下命令 (base) C:\Windows\system32>conda install -c conda-forge gensim 我做了一个pip install gensim --user并且成功了。我使用 conda install gensim 和 pip -U install gensim 遇到的问题是它无法在安装结束时修改环境变量。 我的解决方案适用于 Windows 10、Anaconda。我想将 gensim 与 Spyder 一起使用。 解决方案:使用 Anaconda Navigator,然后从那里安装软件包:打开 Anaconda Navigator -> 环境(基础) -> 未安装(软件包) -> (搜索)gensim -> 从下拉列表中选中 gensim 选项 -> 按应用按钮->(稍等片刻,它会搜索其他依赖项,然后再按一次按钮安装所需的包) 对 word2vec 重复上面的操作 历史:在anaconda命令提示符下,使用conda命令,我安装了gensim。一切看起来都很完美,但它甚至没有导入,在命令提示符下“导入 gensim”。 奖励:张量流也是如此 导入模型 gensim python3x: pip install gensim 正如 @Burhan Khalid 在评论中提到的,不要将文件命名为 gensim.py,因为它会首先在本地文件夹中查找 gensim 并将其视为您要导入的文件。 PS:我在这里写这篇文章是因为人们倾向于跳过评论。如果有帮助,请为原评论点赞 就 Tanu 而言,首先猜测是您不在正确的目录中。以下是我要检查的第一件事。 import sys, os # */site-packages is where your current session is running its python out of site_path = '' for path in sys.path: if 'site-packages' in path.split('/')[-1]: print(path) site_path = path # search to see if gensim in installed packages if len(site_path) > 0: if not 'gensim' in os.listdir(site_path): print('package not found') else: print('gensim installed') 重新安装python,我能够解决这个问题 命令pip freeze显示的包中是否出现“gensim”?如果没有,您可能没有在工作 shell/IDE 中激活包含必要软件包的“环境”。 在 Anaconda 命令提示符中使用 pip 对我有用: (base) C:\Users\ABC>pip install -U gensim 我有这个错误,因为我运行“python”而不是“python3”,我总是时不时地这样做。 如果您使用的是虚拟环境,请使用以下命令检查是否安装了gensim:pip list。 如果未安装,请安装:pip install -U gensim 或 pip install gensim。 此外,如果您使用 Jupyter Notebook,请验证 gensim 是否安装在您正在使用的 python 内核中。 镜像链接很慢。 手动尝试一下 从 https://pypi.org/project/gensim/#files 下载 gensim 文件 并通过 Winrar 解压,然后进入文件夹类型 python setup.py install 这对我来说是成功的 如果您尝试为 Jupyter 笔记本安装 genism 并且上述所有答案都不起作用,请尝试使用 genism 通道安装 conda-forge conda install -c conda-forge genism 这里我使用 -c 标志来给出通道名称。如果您对频道不熟悉,我想向您推荐 Stackoverflow 上的this问题 如果您正在运行 anaconda 环境,请尝试停用该环境并再次安装 gensim。 这样做之后,我能够将其导入到 jupyter 笔记本中。 首先,您必须运行命令!pip install gensim==3.6.0 然后运行这些命令 from gensim.models import KeyedVectors from gensim.models import word2vec model = KeyedVectors.load_word2vec_format('./model/GoogleNews- vectors-negative300.bin', binary=True) 类型 pip3 install gensim 适用于 Mac OS M1 芯片。 我遇到了类似的问题,发现是 环境变量造成了问题。当我们从 (base) D:>jupyter notebook开始时,系统范围的环境变量将在未安装 gensim 的地方使用。 解决方案:当我们使用(base) D:>python -m jupyter notebook时,SARC环境是用plan python初始化的,它指向库的位置。 因此,如果遇到导入问题,其中 python -m jupyter notebook 在终端中工作正常但在笔记本中失败,请使用 import gensim

回答 19 投票 0

加载 word2vec 模块时出现“utf-8”解码错误

我必须使用包含大量汉字的word2vec模块。该模块由我的同事使用 Java 进行训练,并保存为 bin 文件。 我安装了 gensim 并尝试加载模块...

回答 3 投票 0

为什么“[UNK]”这个词是word2vec词汇表中的第一个?

如果词汇按照出现频率从高到低的顺序排列,则将“[UNK]”放在开头表示出现次数最多。但如果“[UNK]”不是最常见的单词怎么办?我应该...

回答 1 投票 0

尝试读取目录时出现目录错误

我已在 .txt 文件的其他目录上多次使用此代码,但这次它在 .xml 文件的新目录上给我一个目录错误。有什么想法可能是什么问题吗? 另外,一秒钟...

回答 1 投票 0

关于我之前关于使用 python 从头开始训练 Word2Vec 模型的问题的额外问题

我之前的问题 我确实从这段代码中完成了 word2vec 模型的训练,但我还有一些问题。 首先,我从函数generate_training_data中想知道,训练数据是否正确

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.