nlp 相关问题

自然语言处理(NLP)是人工智能的子领域,涉及从自然语言数据转换或提取有用信息。方法包括机器学习和基于规则的方法。

在 Google Colab 和 Anaconda 中构建 gcld3 失败

我输入了命令: !pip 安装 gcld3 它显示以下错误: 收集gcld3 使用缓存的 https://files.pythonhosted.org/packages/3a/73/

回答 1 投票 0

如何在句子转换器之上应用线性层

嘿,我正在尝试创建一个基本的 Sentence Transformer 模型以进行少量镜头学习,但是在拟合时,我观察到对模型所做的更改很小,因为该模型已经

回答 1 投票 0

ChatBot langchain,设置内存+检索器+map_reduce

我是这个主题的新手。我想要一个链,允许我使用检索器、内存并设置 chain_type = 'map_reduce'。除此之外,我想知道是否是可以使用

回答 1 投票 0

使用经过训练的 BERT 模型和数据预处理

当使用 pytorch 中预先训练的 BERT 嵌入(然后进行微调)时,是否应该像任何标准 NLP 任务一样对输入模型的文本数据进行预处理? 例如,应该茎...

回答 3 投票 0

NER中如何处理不平衡数据集?

我现在正在使用NER进行信息提取。我的数据集领域(主要)是计算机科学。它包含标签/标记:“TUJUAN”、“METODE”和“TEMUAN”。问题是

回答 1 投票 0

如何获取每个类别的SHAP值?

我想获得每堂课的形状值。我已经检查了教程,并找到了下面的示例如何执行此操作。但是,该代码不起作用,因为 shap_value.shape 为 (10,None,6)。 10是你的号码...

回答 1 投票 0

有没有更快的方法来处理 pandas 字符串值列表

给定列大约有 13000 个值。下面的函数的工作方式是,输入是字符串列表,并对列表中的每个单词进行 NER 标记。平均有

回答 1 投票 0

当今物体检测的障碍是什么?

我读过有关faster RCNN和RFCN的论文,也读过YOLO。看来最大的问题是速度?并且它们都仅使用图像数据。有没有什么结合文字和图像的模型...

回答 1 投票 0

google Colab 中的tensorflow_hub 问题

我正在尝试在 Google Colab 中使用 BERT,并且 导入tensorflow_hub作为集线器 但它引发了 ValueError: 名称“tf.TrackableConstant”已注册到可序列化类。发现:...

回答 2 投票 0

Gensim HDP - 文档的热门主题分布

我想要我的文档的主题分布。然而,Gensim 的 HDP 的 show_topic() 默认返回 20 个主题。我想他们不应该是最好的。深入挖掘后,我发现......

回答 1 投票 0

尝试找出最适合我的应用程序的LLM选项

我一直在努力了解现代 llms 的当前状态,但我不知道我一直在开发的应用程序应该采取什么方向,以及我所有的选择是什么。我相信我们

回答 1 投票 0

如何在Kaggle内核中使用NLTK数据集?

如何在在线服务器 Jupyter Notebook 中下载 nltk 停用词? 在本地主机中,我们可以轻松输入nltk.download并开始下载 但在在线 Kaggle 服务器笔记本中,nltk.download d...

回答 2 投票 0

Spacy NER 无法识别姓名

任何人都可以帮我理解为什么 Spacy NER 拒绝识别句子中的最后一个名字“Hagrid”,无论使用什么模型(sm、md、lg)?: “赫敏买了一辆车,然后赫敏都……

回答 1 投票 0

BERT 上的特征工程

我正在尝试使用 BERT 模型(bert-base-uncased、BertForSequenceClassification)开发推文分类器。在数据集预处理的过程中,老师告诉我这样会更好......

回答 1 投票 0

如何返回用于使用“我正在使用 RetrievalQA”回答问题的文档?

我正在使用 python 和 langchain RetrievalQA 进行 RAG。这是我编写的代码示例: 加载器= UnstructedPDFLoader(文件名,模式=“元素”) 数据 = 加载器.load() 文本分割...

回答 1 投票 0

Token分类模型测试中的奇怪结果 - CamemBERT

我正在使用基于卡门贝尔的模型和Pytorch进行NER任务进行微调,获得的模型目前没有给出好的结果,但至少给出了一些句子的标签

回答 2 投票 0

如何测试运行我的代码的计算机上是否已安装 nltk 资源?

我刚刚开始我的第一个 NLTK 项目,对正确的设置感到困惑。我需要一些资源,例如 Punkt Tokenizer 和 maxent pos tagger。我自己使用 GUI nltk 下载了它们。

回答 3 投票 0

如何解决 ValueError:您应该为此方法提供一个编码或一个编码列表,其中包括 input_ids,但您提供了 ['label']

我正在使用 IMDb 数据集和基于 GPT-2 的模型进行情感分析。这是一个玩具项目,旨在了解 PEFT 和 LORA 并获得一些 Huggingface 库的经验。 这...

回答 1 投票 0

LLM 是什么以及如何用于对组织职位进行排名?

假设有这样的上下文 context = Andy 是财务部的副经理。 Rio 是财务部总经理。 Jason 是财务部总经理。 问题...

回答 1 投票 0

如何轻松计算可读性分数或者如何为此编写函数?

我必须计算文本文档的可读性分数。是否有包或内置函数。互联网上的一切似乎都太复杂了。任何人都可以帮我解决这个问题或者如何编写我自己的函数...

回答 2 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.