nlp 相关问题

自然语言处理(NLP)是人工智能的子领域,涉及从自然语言数据转换或提取有用信息。方法包括机器学习和基于规则的方法。

Google colab 中训练参数导入错误

我正在为我的 nlp 项目使用 google colab。我安装了 trasformer 和其他库,但出现错误。 从 Transformers 导入 Trainer、TrainingArguments 批量大小 = 64 记录步骤=...

回答 1 投票 0

句子变压器训练和验证损失

我正在使用句子转换器模型在与语义文本相似性(STS)数据集相同的自定义数据集上对其进行微调(使用 PyTorch)。 我无法搭乘(或打印)火车...

回答 2 投票 0

NLP数据保持单词频率

我正在使用以下代码清理语料库:- token=['hi','hi','帐户','是','关注','关注','帐户','德里'] to_remove=set(stopwrold、城市、国家、名字、姓氏、其他词的单词并集...

回答 1 投票 0

关于node-nlp如何手动添加值

在nlpManger中我们可以添加文档如下 manager.addDocument('en', '我看到 %hero% 吃 %food%', 'sawhero'); 我如何手动添加值,以便我可以更好地控制最终的

回答 1 投票 0

创建多语言聊天机器人

我使用 PyTorch 创建了一个聊天机器人,我想让它支持法语。请注意,我想训练聊天机器人,以便它可以回答技术问题。 其中一件事情发生了......

回答 1 投票 0

我无法解决数据科学案例研究

我正在尝试自学数据科学,我必须解决一个案例研究。有一个数据库,其中包含酒店的名称、评论、负面和正面评论、评级等。我必须创建...

回答 1 投票 0

Google Colab 无法拥抱脸部模型

我喜欢使用 BERT 模型来标记词性。为此,我使用了 Hugging 脸部库。 当我在 Hugging Face API 上运行模型时,我得到了输出 然而,当我在 Google 上运行代码时

回答 2 投票 0

离线模式下的生成式人工智能示例

我想用Python(或其他)开发一个脚本,允许您使用免费的AI(例如GPT-2)来回答任何问题。 最好我希望它是一个可以在

回答 1 投票 0

为什么二进制对编码(BPE)不适用于二进制数据而只能适用于自然语言?

我知道 BPE 用于可以生成某种标记化和配对的句子,并使用备用字节来创建此类映射。为什么它在 BPE 上不起作用? 什么是最好的

回答 1 投票 0

获取句子的主题或关键词

大家早上好 你们中有人知道有一个工具或 API 或其他东西可以将句子作为输入和输出,并给出该句子的主题或关键字吗? 我在唯一的地方尝试过 TextRazor...

回答 1 投票 0

如何修改或重新训练现有的OpenNLP模型?

有什么方法可以重新训练现有的 OpenNLP 模型吗?即从 OpenNLP 向现有模型添加新项目? 假设我想向现有的 en-ner-date.bin 添加一些新条目,因为有些...

回答 1 投票 0

从huggingface特征提取管道获取句子嵌入

如何从 Huggingface 的特征提取管道中获得整个句子的嵌入? 我了解如何获取每个令牌的功能(如下),但我如何获取...

回答 4 投票 0

使用 SFT 训练器微调 Llama2 后,使用 DataCollatorForCompletionOnlyLM 获取预测

我正在使用 SFT 训练器微调 Llama2 并使用 Lora 进行量化。 我的数据集由结构如下的问题组成: [插入] <> 请选择

回答 1 投票 0

如何使用kaggle中的两个GPU在pytorch中进行训练?

我正在 Kaggle GPU 中训练模型。 但正如我所看到的,只有一个 GPU 正在工作。 我使用普通方法进行训练,例如 device = torch.device('cuda') if torch.cuda.is_available() else torch.de...

回答 1 投票 0

AttributeError:'spacy.pipeline.ner.EntityRecognizer'对象没有属性'add_pipe'

为什么下面的代码会抛出add_pipe属性未定义的错误? 如果 'ner' 不在 nlp.pipe_names 中: ner = nlp.create_pipe('ner') ner.add_pipe(ner , 最后 = True) 对于_,

nlp
回答 1 投票 0

GPT-3 davinci 在相同的提示下给出不同的结果

我不确定您是否可以访问 GPT-3,特别是 DaVinci(完整句子工具)。您可以在此处找到 API 和信息 在过去的一个小时里我一直在尝试这个工具,每次我点击......

回答 3 投票 0

检索增强生成与LLM背景

我仍在学习 RAG 背后的概念,但我想知道, 如果参考文献解释 RAG 时说您将能够通过使用

回答 1 投票 0

如何使用 tweet nlp 找到给定句子的最准确标记?

我发现 Twitter nlp 在标记方面很有帮助。它给出了给定一个句子的所有可能的标签。 “GM先生”给出 早上好先生|总经理先生|通用汽车先生|好比赛先生|游戏大师先生|G...

回答 2 投票 0

大量短文本和少量长文本的潜在狄利克雷分配(LDA)

我正在尝试从大量短文本和相对少量的长文本中生成可比较的主题。目前,我将它们混合到一个语料库中来运行 LDA。我发现大多数主题...

回答 1 投票 0

BERT 这个词嵌入问题有解决方案吗?

我有一个包含 2370 行的文本数据集。它们是相当长的文本,因此我使用 max_length=512 对数据进行标记: tokenized_texts = bert_tokenizer.batch_encode_plus( 文本, 最大长度=

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.