nlp 相关问题

自然语言处理(NLP)是人工智能的子领域,涉及从自然语言数据转换或提取有用信息。方法包括机器学习和基于规则的方法。

如何读取基于选区的解析树

我有一个由斯坦福大学 CoreNLP 系统预处理的句子语料库。它提供的功能之一是句子的解析树(基于选区)。虽然我可以理解解析树

回答 3 投票 0

Spacy:找不到模型“en_core_web_sm”。它似乎不是一个 Python 包或数据目录的有效路径

我正在尝试加载en_core_web_sm spaCy模型,但我没有成功。 发生的错误如下: OSError:[E050]找不到模型“en_core_web_sm”。没看出...

回答 3 投票 0

自然语言处理。序列到序列分类

我正在尝试运行我的代码进行序列到序列分类,但我遇到了一个名为 0D 或 1D 目标张量预期的错误,loss = criteria(outputs, la.. .

回答 1 投票 0

Python安装Constituent Tree Lib时出错

我正在尝试在Python中使用视觉上如此吸引人的成分树库:https://github.com/Halvani/Constituent-Treelib。我已按照安装步骤进行操作(pip install,...),但是...

回答 1 投票 0

如何在Python中稳定Kmeans集群

我正在分析以确定给定文本中的功能需求。为了实现这一目标,我从文本中提取了名词和动词,并应用 KMeans 聚类对相似的语义词进行分组

回答 1 投票 0

在格鲁吉亚数据集上从微调的 Mistral 7B 模型生成文本的问题

我使用包含大约 100,000 篇文章的乔治亚数据集对 Mistral 7B 模型进行了微调,包括自定义标记器微调。微调过程耗时约9个小时。然而,当...

回答 1 投票 0

从 spaCy 中的句子中提取日期

我有一个像这样的字符串: “日期为2019年6月30日至2022年1月1日(含)” 我想使用 spaCy 从此字符串中提取日期。 到目前为止,这是我的功能: 定义

回答 1 投票 0

使用 SpaCy 标记 12GB xml 时内存不足

我正在尝试在 xml 中标记 12GB 的文本。该文件仅包含“内容词”,没有停用词。我正在尝试实现一个函数,以便通过文本块进行标记并清除...

回答 1 投票 0

GloVe 嵌入空字符串

它看起来像是 glove.twitter.27B.200d.txt 文件中空字符串的嵌入,该文件是此 zip 文件的一部分: https://nlp.stanford.edu/data/glove.twitter.27B.zip 在第 38523 行提供,...

回答 1 投票 0

如何解决在 Windows 上安装 fastText 库时出现的安装问题?

我是这个领域的新手,正在NLP领域尝试不同的模型。当我尝试使用命令提示符安装 fastText 库时,它显示错误: 点安装轮子 点安装

回答 1 投票 0

澄清T5模型预训练目标和去噪过程

我目前正在从头开始开发一个 T5 模型(编码器-解码器架构),用于教育目的。在从事这个项目时,我在预训练方面遇到了一些困惑

回答 1 投票 0

Nodejs 中两个标签之间的文本相似度

我想评价两个标签之间的相似度。例如,“技术”、“计算机”和“芯片”等词应该具有较高的相似度,而“食物”这样的词应该具有较低的相似度。 鉴于最近的进展...

回答 1 投票 0

有没有任何OCR或技术可以识别/识别以pdf文档形式打印的单选按钮?

我有一个 pdf 文档,其中包含无线电响应(如所附屏幕截图)。我只想通过 python 或任何 OCR 技术提取所选响应。有什么办法可以做到吗? (https://i.stack。

回答 1 投票 0

如何启动并运行越南语 spaCy?

我的英语很成功 python -m spacy 下载 en_core_web_lg python -m spacy 下载 en_core_web_sm python -m spacy 下载 en 我读了 https://spacy.io/models/xx 。如何与越南语 u...

回答 2 投票 0

Huggingface 预训练模型的标记器和模型对象具有不同的最大输入长度

我正在使用 Huggingface 的 symanto/sn-xlm-roberta-base-snli-mnli-anli-xnli 预训练模型。我的任务需要在相当大的文本上使用它,因此了解最大输入长度至关重要。

回答 3 投票 0

Python Spacy Pattern - 如何根据另一个单词标记一个单词?

我正在尝试编写一种模式,根据一个子字符串将整个单词标记为单元。 这是例子: 条款 = [{'ent': "单位", '模式':[ [{'引理':'升'}]]...

回答 1 投票 0

Python Counter() 函数用于统计文档中出现多次的单词

我正在开发一个 NLP(自然语言处理)项目,其中使用了集合库中的 Python Counter() 函数。我得到以下形式的结果: 输出: 计数器({...

回答 3 投票 0

如何修复此错误没有名为“llama_index.llms.llama_cpp”的模块

我尝试将 mixtral-8x7b 与我自己的数据一起使用,但没有成功。这是我的代码 进口火炬 从 llama_index.llms.llama_cpp 导入 LlamaCPP 从 llama_index.llms.llama_cpp.llama_utils 导入

回答 1 投票 0

RAG:将检索到的整个文档注入到提示中,而不是仅注入 page_content

使用抹布链时,我意识到整个Document都被注入到提示符中。仅传递文档的 page_content 不是更有意义吗?我担心看到 [Docu...

回答 1 投票 0

将人称代词替换为之前提到的人称(吵闹的coref)

我想做一个嘈杂的解决方案,以便给定一个人称代词,该代词被前一个(最近的)人代替。 例如: Alex 正在考虑以 10 亿美元收购一家英国初创公司。哈...

回答 3 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.