自然语言处理(NLP)是人工智能的子领域,涉及从自然语言数据转换或提取有用信息。方法包括机器学习和基于规则的方法。
Seq2Seq trainer.train() 不断给出索引错误
我正在尝试使用 NLLB 模型进行从印地语到梵语的机器翻译。但我不断收到错误: IndexError:无效密钥:39463 超出大小 0 的范围。 当
Huggingface Pretrained 中 device_map = "auto" 的替代方案
我有一个使用以下代码从 Huggingface 读取的模型: 从变压器导入 AutoTokenizer、AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained(model_path) 模式...
这里的镜头有点远,对于缺乏信息,我深表歉意。然而,我现在甚至不知道该去哪里寻找。 所以我试图从一项虚构的调查中区分好的评论和坏的评论......
为什么我在 Kaggle 中提交笔记本时出现“笔记本内存不足”错误
我正在参加 Kaggle 比赛。在过去的7-10天里,我一直面临着一个特殊的问题。我正在尝试向竞赛提交作品,但收到“Notebook out of
我正在尝试开发一个正则表达式模式以在 for 循环中使用。我有两个列表 - 一个是文档中的一组清理后的关键字,另一个是我想使用清理后的文本来执行的一组标签...
我对 NLP 很陌生......有没有任何 API 或方法可以让我从句子中识别动词、形容词或副词? 我在项目中需要它吗?
我正在研究可汗学院的练习框架,更具体地说,是应用题。 在做应用题练习时,学生经常会遇到同样的应用题,只是数字和名字......
Transformers // 根据之前交易的序列预测下一个交易 // Sequence2One 任务
我们正在解决以下任务。 我们公司有一系列的活动,例如 数据: 1000 美元 / 橙子 / 上午 11 点 500$ / 洗车 / 下午 3:00 15$ / 鲜花 / 晚上 9 点 任务: 任务是 - 预测下一步
Jupyter Lab 内核在启动 trainer.train() 之前就死掉了
正在微调 phi-3.5-mini,当尝试运行 trainer.train() 时,我收到以下错误: ***** 跑步训练 ***** 示例数量 = 647 历元数 = 3 瞬时...
当使用解析器或核心 NLP 中的任何注释时,有没有办法访问概率或误差幅度? 为了将我的问题放在上下文中,我试图理解......
从非结构化医疗笔记中提取复杂变量而不依赖预定义关键字的最佳 NLP 方法
我正在致力于从电子健康记录中的非结构化患者笔记中提取结构化数据。我一直在使用 SpaCy 的命名实体识别模型和实体标尺(来定义我的d...
我想为文本制作一个分类器,进一步用于建议给定文本最相似的文本。 该应用程序的流程如下: 使用...
所以我一直在尝试 bert_score 来做一些指标,在测试它时我发现它为一些完全不相关的句子给了我一些非常高的分数。 例如我尝试过这个: 参考=...
如何在 Huggingface 中重新初始化 Mistral 模型的权重?
来自如何以官方方式将 Hugging Face LLaMA v2 模型的权重重新初始化为原始模型?和 https://discuss.huggingface.co/t/how-does-one-reinitialize-the-weights-of-a-h...
LLaMA 3.1 使用 QLoRA 进行微调 - CUDA 内存不足错误
我正在尝试使用 QLoRA 技术,借助来自 Hugging Face 的心理健康对话数据集的 4 位 bitandbytes 库来微调 LLaMA 3.1 80 亿个参数模型。
如何使用预训练的BERT词嵌入向量来微调(初始化)其他网络?
当我使用 textcnn 进行分类工作时,我有使用 Word2Vec 和 fasttext 等预训练词嵌入来微调 textcnn 的经验。我使用这个过程: 创建嵌入...
使用colab时没有这样的文件或目录'nltk_data/corpora/stopwords/English'
首先,我使用 Google colab 进行工作, 我已经下载了英语的 nltk 停用词,内容如下: nltk.download('停用词') 下载成功 [nltk_data] 正在下载
我正在尝试使用 spaCy 从文本列表中仅提取第一个发言者的姓名。目前,我的函数返回所有“PER”标签,但我想减少开销并仅获取 fi...