nlp 相关问题

自然语言处理（NLP）是人工智能的子领域，涉及从自然语言数据转换或提取有用信息。方法包括机器学习和基于规则的方法。

句子相似度的加权输入

我正在使用点分数构建句子相似度的语言模型。目前，我正在使用拥抱脸部的gte-large语言模型。我想知道是否有一种方法可以给出加权输入......

python machine-learning nlp

回答 1 投票 0

调用 Hugging Face load_dataset("glue", "mrpc") 时出错

我正在遵循这里的huggingface教程，它给了我一个奇怪的错误。当我运行以下代码时：从数据集导入load_dataset 从 Transformer 导入 AutoTokenizer，

python nlp huggingface huggingface-datasets

回答 1 投票 0

如何向现有的 Huggingface 标记生成器添加新标记？

如何将新令牌添加到现有的 Huggingface AutoTokenizer 中？按照规范，Huggingface https://huggingface.co/learn/nlp-course/chapter6/2 有这个教程，但它以“

python nlp huggingface-transformers huggingface-tokenizers large-language-model

回答 2 投票 0

在 Pytorch 的数据处理中使用 tokenizer 的最佳函数/阶段是什么？

我正在继承 torch.utils.data.Dataset 并编写一个整理函数以分别传递给 Dataloader 的数据集和 collate_fn 参数。在数据集的 __getitem__ 或 collate_fn 之间，我是

pytorch nlp

回答 2 投票 0

Sklearm FeatureHasher 无法处理数据框中的单个列

我尝试在数据框中的单个列上执行特征哈希器，但它不断给出错误 ValueError：样本不能是单个字符串。输入必须是可迭代的…

pandas machine-learning scikit-learn nlp

回答 1 投票 0

我可以指定屏蔽语言模型的输出范围吗？

当使用屏蔽语言模型训练不同类型的模型时，屏蔽位置的输入嵌入将被替换为 MASK 标记。我想知道是否可以指定 MASK 的范围

nlp huggingface-transformers transformer-model mlmodel

回答 1 投票 0

是否可以对像 vec2word 这样的预训练词嵌入模型进行微调？

我正在我的搜索引擎系统中进行语义匹配。我看到词嵌入可以用于此任务。然而，我的数据集非常有限而且很小，所以我不认为训练一个单词

python nlp artificial-intelligence word2vec word-embedding

回答 1 投票 0

我无法获取过去的数据（stop_words）来分析文本挖掘中的文本

这是我第一次尝试文本挖掘，但我遇到了困难。这是我到目前为止所做的：图书馆（TM）图书馆（整洁的文本）图书馆（dplyr）库（ggplot2）文本 1 <- c("Dear land of G...

r dplyr nlp text-mining tidy

回答 1 投票 0

在 PyTorch 中使用 Transformers.pipeline 进行微调 BERT 模型推理时，我应该使用 model.eval() 吗？

使用 Trainer() 训练 Transformer 模型时，文档显示了以下用法：模型 = AutoModelForSequenceClassification.from_pretrained("bert-base-cased", num_labels=5) 火车...

python machine-learning pytorch nlp huggingface-transformers

回答 1 投票 0

为什么LLMChain的答案被砍掉了？

我想使用 Huggingface API 和 Gemma 模型构建一个问答应用程序，但模型提供的答案被切断了。我已经在 Google Colab 和 Kaggle note 上尝试过了...

python nlp huggingface-transformers langchain nlp-question-answering

回答 1 投票 0

word2vec 无法使用 gensim 库工作

我正在尝试使用 gensim 提供的 word2vec 模型对我的数据集进行矢量化。我面临着 scipy 提出的错误。从 gensim.models 导入 Word2Vec 从 nltk.tokenize 导入 word_tokenize 导入...

python-3.x nlp vectorization gensim word2vec

回答 1 投票 0

Gensim 的 Doc2Vec 包含多种语言的文档

我正在利用文档向量表示的相似性构建一个基于内容的推荐系统。我的文档是书籍的描述。大多数是英文的，但也有一些是

python nlp gensim recommendation-engine doc2vec

回答 1 投票 0

使用word2vec对类别中的单词进行分类

背景我有带有一些样本数据的向量，每个向量都有一个类别名称（地点、颜色、名称）。 ['约翰','杰伊','丹','内森','鲍勃'] -> '名字' ['黄色', '红色', '绿色'] -> '科罗拉多州...

python machine-learning nlp word2vec gensim

回答 3 投票 0

Pytesseract 返回边界框内的文本

我目前正在尝试对一组文档进行命名实体提取。我的计划是：使用 pytesseract 进行 OCR 提取文本申请法学硕士来获取患者姓名、年龄等实体。一...

nlp tesseract python-tesseract named-entity-recognition large-language-model

回答 1 投票 0

R Tidymodels textrecipes - 使用 spacyR 进行标记 - 如何从生成的标记列表中删除标点符号

我想通过使用带有spacyR引擎的step_tokenize来标记我的文本，然后再使用step_lemma进行词形还原。接下来，我想删除例如标点符号

r nlp spacy tidymodels

回答 1 投票 0

Tensorflow unicode 文本编码-解码

我刚刚开始使用西里尔文字。文本预处理后无法正确打印俄语文本。如何在文本加载期间设置编码？导入路径库文本 = pathlib.Path('rus.txt').rea...

python tensorflow nlp machine-translation

回答 3 投票 0

Word2Vec Hierarchical Softmax 中的内部顶点里面有什么？

我有一个关于分层 Softmax 的问题。实际上，我不太明白内部顶点（不是叶顶点）中存储的内容。我清楚地理解了这个算法的主要思想...

machine-learning nlp word2vec hierarchical softmax

回答 1 投票 0

Pytorch运行时错误RuntimeError：mat1和mat2形状无法相乘（10x2048和64x6）

我正在尝试连接X，Y和Rag特征，但它给了我错误我已经使用了简单的concat，但它给了我错误我只想在前向函数中连接x，y，rag特征，可以

pytorch nlp pytorch-lightning pytorch-dataloader

回答 1 投票 0

如何在多个数据集上训练拥抱人脸模型？

我正在尝试基于两个数据集微调模型，按照 Hugging Face 网站上的示例，我在 Yelp Review 数据集上进行模型训练，但我也想在...

python nlp huggingface-transformers huggingface-datasets google-bert

回答 1 投票 0

运行时错误：无法导入transformers.integrations.bitsandbytes

我正在尝试以 4 位精度加载 llm 模型。但是，我得到了 RuntimeError: Failed to import Transformers.integrations.bitsandbytes 因为以下错误（查找它的 Traceba...

deep-learning nlp huggingface-transformers large-language-model

回答 1 投票 0

nlp 相关问题

最新问题