word-embedding 相关问题

有关字嵌入的问题，自然语言处理中的语言建模技术。问题可能涉及特定方法，例如Word2Vec，GloVe，FastText等，或者字嵌入及其在机器学习库中的使用。

如何在langchain中嵌入文档？

我使用 langchain Python 库创建向量存储并根据用户查询检索相关文档。如何在矢量存储中嵌入文档？例如，在这段代码中：导入

python nlp langchain word-embedding

回答 1 投票 0

将嵌入映射到 PyTorch/Huggingface 中的标签

我目前正在开展一个项目，其中使用预先训练的变压器模型来生成 DNA 序列的嵌入（有些有“1”标签，有些有“0”标签）。我正在尝试绘制地图...

python tensorflow pytorch huggingface-transformers word-embedding

回答 2 投票 0

如何使用 FastAPI 构建嵌入编码器

我只想使用 SentenceTransformer 中预先训练的开源嵌入模型来编码纯文本。目标是使用 swagger 作为 GUI - 放入句子并取出嵌入。来自 fas...

python fastapi word-embedding

回答 1 投票 0

如何将fasttext模型保存为vec格式？

我使用 python 中的 fasttext.train_unsupervised() 函数训练了我的无监督模型。我想将其保存为 vec 文件，因为我将使用该文件作为 fasttext 中的 pretrainedVectors 参数。

python word-embedding fasttext

回答 3 投票 0

高效的多对多嵌入比较

我试图向用户推荐最热门的“文章”，并嵌入他们所拥有的“兴趣”。每个“用户”将有 5-10 个与其个人资料相关的嵌入，

sql postgresql search sql-execution-plan word-embedding

回答 1 投票 0

是否可以使用Google BERT来计算两个文本文档之间的相似度？

是否可以使用Google BERT来计算两个文本文档之间的相似度？据我了解，BERT 的输入应该是有限大小的句子。有些作品使用 BERT 来实现相似性

python text scikit-learn nlp word-embedding

回答 5 投票 0

2-3 个单词的短语与多个句子的文档之间的句子相似度

我想要实现的目标：我有数千个文档（事件描述），我想找到与短语匹配或与短语中的单词相似的文档。举个例子，...

nlp word-embedding sentence-similarity sentence-transformers

回答 1 投票 0

如何在 .npy 文件中加载预先训练的词嵌入

我正在尝试使用斯坦福 NLP 团队在 HistWords 项目中预先训练的单词嵌入。但是当我从GitHub网站运行文档example.py时，出现错误：ModuleNotFoundEr...

python nlp word-embedding

回答 1 投票 0

为什么嵌入层中使用 V+1（`Embedding(V+1,D)(i)`），其中 V 是词汇量？

假设从tensorflow.keras.preprocessing.text导入Tokenizer 分词器 = 分词器() ... V = len(tokenizer.word_index) 其中 V 是词汇量。有人告诉我嵌入层 x =

python tensorflow shapes word-embedding

回答 1 投票 0

LSTM 用于从单个单词生成一行诗？输入操作和模型创建帮助

X = [] Y = [] 对于文档中的行：单词 = line.split() line_length = len(字数) if line_length > 1: # 排除 1 个单词或更少的行 input_sequence = [word_to_index.get(w...

nlp lstm word-embedding data-preprocessing

回答 1 投票 0

Gensim 3.8.0 至 Gensim 4.0.0

我使用 Gensim 3.8.0 训练了 Word2Vec 模型。后来我尝试在GCP上使用Gensim 4.0.o来使用预训练模型。我使用了以下代码：模型 = KeyedVectors.load_word2vec_format(wv_path,

python nlp gensim word2vec word-embedding

回答 4 投票 0

如何理解 Transformer 中的上下文嵌入？

如，变压器的输入本质上是一系列标记，每个标记都表示为单热向量。这些向量随后乘以嵌入矩阵 (E) 以生成输入

nlp huggingface-transformers embedding transformer-model word-embedding

回答 1 投票 0

如何使用 spaCy 获取令牌 id（我想将文本句子映射到整数序列）

我想使用 spacy 对句子进行标记，以获得可用于下游任务的整数标记 ID 序列。我希望像下面这样使用它。请填写？？？导入spacy # 加载

nlp spacy word-embedding

回答 2 投票 0

什么是对 Word2vec 生成的平均向量的良好替代品

我的数据集采用以下格式，其中对于每种疾病，我使用 word2vec 生成 2D 向量。（例如显示 2D 向量，但实际上，向量为 100D ）疾病...

vector pca gensim word2vec word-embedding

回答 1 投票 0

BERT 中的 TokenEmbeddings 是如何创建的？

在描述BERT的论文中，有一段关于WordPiece Embeddings的内容。我们使用 WordPiece 嵌入（Wu 等人， 2016）拥有 30,000 个标记词汇。首先每个序列的标记...

machine-learning nlp word-embedding

回答 2 投票 0

余弦相似度涉及嵌入，我们是否必须嵌入整个句子/文本？

想象一下我有一些这样的代码。我正在使用编码函数来创建嵌入。然后，我会根据这些来计算余弦相似度得分，毕竟我选择的模型是......

word-embedding cosine-similarity sentence-transformers

回答 1 投票 0

如何获得 RoBERTa 词嵌入？

给定一个“Roberta 是 BERT 的高度优化版本”类型的句子，我需要使用 RoBERTa 获取该句子中每个单词的嵌入。我尝试过查看示例...

encoding nlp word-embedding

回答 2 投票 0

向 HuggingFace 数据集添加新列

在数据集中我有 5000000 行，我想在我的数据集中添加一个名为“embeddings”的列。数据集 = dataset.add_column('嵌入', 嵌入) 变量嵌入是一个 numpy memmap ...

python numpy word-embedding pyarrow huggingface-datasets

回答 4 投票 0

将顶点ai文本嵌入响应转换为矢量表示

我正在尝试生成文本的矢量表示，然后将其放入我的搜索数据库中以执行操作，例如语义搜索或推荐。为此，我首先使用顶点...

node.js word-embedding google-cloud-vertex-ai

回答 2 投票 0

如何在langchain中创建嵌入模型

我想将 llama-2 的隐藏状态作为嵌入模型传递给我的方法 FAISS.from_document(, )。目前，我有 llama-2 模型并获得嵌入...

python word-embedding data-retrieval large-language-model llama

回答 1 投票 0

word-embedding 相关问题

最新问题