nlp 相关问题

自然语言处理（NLP）是人工智能的子领域，涉及从自然语言数据转换或提取有用信息。方法包括机器学习和基于规则的方法。

我使用 Jax 后端在 Keras 中对 llama2 模型进行了完全子类化。我第一次运行代码时，它训练得很好（在莎士比亚数据集上），并且预测也很好。但接下来...

python nlp large-language-model llama keras-3

回答 1 投票 0

slurm 在运行几行后没有执行我的 Python 代码，但也没有停止，而它在我本地的 Linux 上运行良好

我的代码：从数据集导入load_dataset 最大长度 = 512 数据集 = load_dataset("胶水","mrpc") 从 Transformer 导入 AutoTokenizer 从 Transformers 导入 RobertaTokenizerFa...

python linux nlp slurm

回答 1 投票 0

查找 HuggingFace 模型的嵌入尺寸

我尝试弄清楚如何将 faiss Vectore Store 与 LlamaIndex 结合使用。指令说，我必须提前指示向量维度。这是代码：进口费斯 # 文本尺寸...

nlp huggingface-transformers llama-index faiss

回答 1 投票 0

有没有办法保存预编译的AutoTokenizer？

有时，我们必须这样做来扩展预训练的分词器：从 Transformer 导入 AutoTokenizer 从数据集导入load_dataset ds_de = load_dataset("mc4", '...

python nlp tokenize huggingface huggingface-tokenizers

回答 1 投票 0

在 bert 上训练新数据集

我有一个亚马逊评论数据集，我想根据评论预测星级我知道我可以使用预训练的 bert 模型，如下所示但我想用自己的数据训练bert模型......

machine-learning nlp tokenize bert-language-model

回答 1 投票 0

为什么令牌嵌入与 BartForConditionalGeneration 模型的嵌入不同

为什么即使我使用相同的 BartForConditionalGenration 模型生成嵌入，它们也是不同的？第一个嵌入是通过组合令牌嵌入和位置嵌入来生成的

machine-learning pytorch nlp huggingface-transformers bart

回答 1 投票 0

Stanford CoreNLP 文本分类情感分析

我正在完成我的个人学士学位期末项目，预计将在大约 50 天后完成。我想要创建的网站是一个用户可以分享他们找到 amu 的文章链接的网站......

web-crawler nlp stanford-nlp sentiment-analysis text-classification

回答 1 投票 0

将空格分隔的不完整单词组合成有意义的单词

我是 NLP 新手，在任何地方都找不到合适的解决方案。我想将句子中以空格分隔的不完整单词组合成完整单词。例如，以下句子 incomp...

python nlp text-processing

回答 1 投票 0

如何从Stanza选区解析树中获取字符串中的原始标记位置？

我正在使用 Stanza 从文本中提取名词短语。我正在使用此代码来提取 NP 并根据其深度存储它们。 nlp = stanza.Pipeline('en', tokenize_pretokenized=True)

python parsing nlp stanford-nlp stanza

回答 1 投票 0

将数字转换为英文字符串

像http://www.easysurf.cc/cnvert18.htm和http://www.calculatorsoup.com/calculators/conversions/numberstowords.php这样的网站尝试将数字字符串转换为英文字符串，但是它们。 ..

python nlp

回答 2 投票 0

属性错误：编译神经网络进行情感分析时，模块“keras.src.backend”没有属性“floatx”

从tensorflow.keras.models导入顺序从tensorflow.keras导入层 # 设置嵌入维度嵌入尺寸 = 100 # 创建模型模型=顺序（[ 层.嵌入(

tensorflow machine-learning keras nlp

回答 1 投票 0

解析 xml 文件并将其读取到 pandas 数据帧中

我有一个文件夹，里面有几个其他文件夹。这些文件夹都包含 talkbank CHILDES xml 文件我编写了代码将数据提取到 pandas 数据框中。该代码的工作原理是询问用户...

python xml nlp

回答 1 投票 0

我无法在我的语音识别代码中生成来自 google/youtube 的研究结果

我正在尝试构建一个可以与人们互动并帮助他们快速更新的聊天机器人。下面是我用来从 youtube/google 获取搜索结果的代码。请告诉我在哪里...

python nlp artificial-intelligence speech-recognition google-text-to-speech

回答 1 投票 0

pip无法安装pyicu

我正在运行运行 Ubuntu 20.04 的 AWS。我正在尝试安装 pyicu 软件包，但遇到了问题。我尝试运行 sudo apt install libicu-dev，但仍然无法安装 pyicu。我不是...

python pip nlp polyglot pyicu

回答 4 投票 0

使用 NLTK 提取关系

这是我问题的后续。我正在使用 nltk 来解析人、组织及其关系。使用这个例子，我能够创建人员和组织的块；然而...

python nlp nltk

回答 4 投票 0

我在使用 Spacy 时遇到问题

导入spacy nlp = spacy.blank('en') 句子 =“从 7 名男性和 6 名女性组成的小组中，将选出 5 人组成一个委员会，以便委员会中至少有 3 名男性。在...

nlp spacy

回答 1 投票 0

为什么在计算 Jina 嵌入时本地推理与 API 不同？

我正在通过 Transformer Python 库和 API 计算 Jina v2 嵌入（请参阅 https://jina.ai/embeddings/）。使用变压器我可以运行类似的东西从变压器导入 AutoMo...

python nlp huggingface-transformers sentence-transformers jina

回答 1 投票 0

保存 BERT 模型检查点时出现 PermissionError

我正在微调用于分类任务的 BERT 模型，以下代码用于训练模型。从 Transformers 导入 Trainer、TrainingArguments、AutoConfig 从变压器导入 Tra...

nlp huggingface-transformers huggingface-trainer

回答 1 投票 0

是否可以使用Google BERT来计算两个文本文档之间的相似度？

是否可以使用Google BERT来计算两个文本文档之间的相似度？据我了解，BERT 的输入应该是有限大小的句子。有些作品使用 BERT 来实现相似性

python text scikit-learn nlp word-embedding

回答 5 投票 0

在不同模型上应用PEFT / LoRA的目标模块

我正在研究在不同模型上使用 PEFT 的几个不同示例。 LoraConfig 对象包含一个 target_modules 数组。在一些示例中，目标模块是 ["query_key_value&qu...

nlp huggingface-transformers huggingface fine-tuning peft

回答 2 投票 0

nlp 相关问题

最新问题