tf-idf 相关问题

“术语频率⨉逆文档频率”或“tf-idf”测量单词对集合或语料库中文档的重要程度。

提高邮件分类的准确性?

我正在建立一个邮件分类模型。目前,我在数据的预处理过程中使用了NLTK的stopwords和lemmatization。以下是我正在使用的TF-IDF向量器的参数 ...

回答 1 投票 0


在TF-IDF模型中检索顶级令牌的最佳方法

[如何从具有以下组件的SciKit学习管道中获取最重要的令牌概述:multinb = Pipeline([('vect',CountVectorizer()),('tfidf',...

回答 1 投票 0

spark数据帧(scala)中tf idf输出的余弦相似度

我正在使用Spark Scala计算数据帧行之间的余弦相似度。数据帧格式如下:根|-id:长(nullable = true)|-特征:矢量(nullable = true)...

回答 1 投票 0

Tf-Idf的输出不令人满意

我在文本文件中有两行的文档,如下所示。我想将tf-idf应用于它,但出现如下所示的错误,我不确定文件中的int对象在哪里?为什么会抛出这个...

回答 1 投票 0

有人可以检查我的tf-idf加权是否正确吗?

我收集了15个文件,其中10个词中出现了吸烟,其中2个词中出现了健康。我需要在tf-idf加权之后检查这些项的值...

回答 1 投票 0

为预测的群集创建新列:SettingWithCopyWarning

不幸的是,这个问题将重复,但是即使查看了其他类似的问题及其相关的答案,我也无法在代码中解决该问题。我需要将数据集拆分为...

回答 1 投票 0

如何在Tensorflow转换中计算TF-IDF(使用tft.tfidf函数)

当在tensorflow转换中浏览文档时,我遇到了执行TD-IDF的函数。 tft.tfidf(x,vocab_size,smooth = True,name = None)由于文档在提供...

回答 1 投票 0

将其他数据合并到我的TFIDF阵列中

我正在尝试使用scikit-learn创建文本分类模型。刚开始,我只使用文本的tfidf数组作为功能。我的数据集的结构如下所示(数据集为...

回答 1 投票 0

sklearn TfidfVectorizer自定义ngram,不包含正则表达式字符

我想使用sklearn TfidfVectorizer执行自定义ngram矢量化。生成的ngram不应包含来自给定正则表达式模式的任何字符。不幸的是,自定义令牌生成器...

回答 1 投票 0

[TfidfVectorizer使用我自己的停用词词典

我想问你是否可以使用自己的停用词词典,而不是TfidfVectorizer中的现有停用词词典。我建立了一个更大的停用词字典,我更喜欢使用它。但是...

回答 1 投票 0

用于文本聚类分析的tf-idf

我想将数据框中的df ['Texts']列中包含的小文本分组。要分析的句子示例如下:文本1唐纳德·特朗普,唐纳德·特朗普新闻,特朗普...

回答 1 投票 0

GridSearchCV + StratifiedKfold,如果是TFIDF,则是

我正在研究一个分类问题,需要预测文本数据的类别。我需要为要使用GridSearchCV的分类模型进行超参数调整。 ...

回答 1 投票 1

GridSearchCV + StratifiedKfold,如果是TFIDF,则是

我正在研究一个分类问题,需要预测文本数据的类别。我需要为要使用GridSearchCV的分类模型进行超参数调整。 ...

回答 1 投票 1

了解TfidfVectorizer中的前n个tfidf功能

我试图更好地了解scikit-learning的TfidfVectorizer。以下代码包含两个文档doc1 =轿车在道路上行驶,doc2 =卡车在公路上行驶。通过...

回答 1 投票 0

[当我在自然语言处理中使用TF-IDF时,它说列表是不可调用的。您能帮我吗?

我有这样的错误:------------------------------------------ --------------------------------- TypeError跟踪(最近一次通话最近)

回答 1 投票 0

如何反映与sklearn的TfidfVectorizer相同的结果?

我正在尝试从头开始构建TfidfVectorizer,并且已经构建了与sklearn几乎相同的矢量化器,但是我无法获得与TfidfVectorizer相同的tf-idf分数。这是我的代码:...

回答 1 投票 0

如何查看TF-IDF结果? [重复]

我正在查看此示例https://www.analyticsvidhya.com/blog/2019/04/predicting-movie-genres-nlp-multi-label-classification/恰好在使用TF-IDF的行#创建TF -IDF功能...

回答 1 投票 0

如何使用TFIDF为python中的每一行提取关键字?

我有一列仅包含文本。我需要使用TFIDF从每一行中提取顶级关键字。示例输入df ['Text']“我住在印度”,“我最喜欢的颜色是红色”,“我喜欢编程” ...

回答 2 投票 0

ValueError:无法将NumPy数组转换为张量(不受支持的对象类型numpy.ndarray)

tfidf_Train和features_Train是包含浮点数的列表的列表,即[[0.14,0.22 ...],[0.52,0.34]]我尝试使用np.asarray()将变量转换为np数组,但仍然出现错误...

回答 1 投票 1

© www.soinside.com 2019 - 2024. All rights reserved.