max_seq_length for transformer (Sentence-BERT)
我通过以下方式使用来自 Huggingface 的句子 BERT： 从 sentence_transformers 导入 SentenceTransformer model = SentenceTransformer('all-MiniLM-L6-v2') model.max_seq_length = 512 模型。
如何在训练 Huggingface Transformers (Pegasus) 模型时防止 VRAM 中途丢失？
我正在通过 Huggingface 变压器使用预训练的 pegasus 模型，（具体来说，google/pegasus-cnn_dailymail，我正在通过 Pytorch 使用 Huggingface 变压器）我想微调 ...
使用 HuggingFace 的 DataCollatorForLanguageModeling 时将填充令牌设置为 eos 令牌
在https://huggingface.co/learn/nlp-course/chapter7/6#preparing-the-dataset中，有 从转换器导入 DataCollatorForLanguageModeling tokenizer.pad_token = tokenizer.eos_token 数据整理...
微调GPT-2（HuggingFace）时解决“CUDA out of memory”
在使用 HuggingFace Transformers 库微调 GPT-2 模型时，我再次出现 CUDA 内存不足错误，但似乎无法解决它，尽管我有 6 GB 的 GPU 容量，我认为它...
HuggingFace Transformers 模型配置报告“这是一种已弃用的控制生成策略，很快就会被删除”
我正在使用 HuggingFace Transformers 的 Seq2SeqTrainer 训练序列到序列模型。当我执行训练过程时，它报告以下警告： /path/to/python3.9/site-packages/
如何在 PrimeQA 模型上使用 Huggingface Transformers？
这是模型https://huggingface.co/PrimeQA/t5-base-table-question-generator 拥抱脸说我应该使用下面的代码来使用变形金刚中的模型： 从变压器进口
HuggingFace Transformers Trainer._maybe_log_save_evaluate IndexError：标量变量的索引无效
所以，我正在为问题生成微调 BART 模型，它似乎正在接受培训。然后突然间，它在第一次验证结束时用 IndexE 停止...
我在使用 Hugging Face Transformers 库中的 Dinov2ForImageClassification 模型时遇到问题，如此处文档中所述。尽管遵循提供的代码...
Huggingface AlBert 分词器 Colab 出现 NoneType 错误
我只是尝试了拥抱脸网站的示例代码：https://huggingface.co/albert-base-v2 从变形金刚导入 AlbertTokenizer，AlbertModel tokenizer = AlbertTokenizer.from_pretrained('al...
将 llama2 模型转换为 Huggingface 时出现分段错误
我想将 llama2 7B 模型转换为 Huggingface 格式，但我不断收到分段错误错误。 （基础）jupyter@finetuninggpu:~/llama$ python Convert_llama_weights_to_hf.py --input_...
https://huggingface.co/models 例如，我想下载“bert-base-uncased”，但找不到“下载”链接。请帮忙。还是不能下载？
我正在按照 https://huggingface.co/docs/transformers/pipeline_tutorial 上的教程使用 transformers 管道进行推理。例如，以下代码片段适用于获取 NER
我正在尝试运行 OpenAssistant 的 pythia-12b 模型，但出现以下错误： NameError：未定义名称“init_empty_weights” 我已经安装了 Accelerate，并且正在运行 Transformers
使用Trainer API训练模型时如何在验证数据上使用CER？
我正在使用 Huggingface Trainer API 来微调 ASR 模型，例如https://huggingface.co/openai/whisper-tiny 在回调函数期间，我调用评估 API 来计算 CER 指标。 {{ 然而，对于...
使用Trainer API训练模型时如何在验证数据上使用CER？
我正在使用 Huggingface Trainer API 来微调 ASR 模型，例如https://huggingface.co/openai/whisper-tiny 在回调函数期间，我调用评估 API 来计算 CER 指标。 {{ 然而，对于...
“DebertaV2ForSequenceClassification”对象没有属性“compile”
我正在运行以下代码： mod_nm=“MoritzLaurer/mDeBERTa-v3-base-xnli-多语言-nli-2mil7” 模型 = AutoModelForSequenceClassification.from_pretrained(mod_nm, num_labels=8,
将 pixstruct Huggingface 模型转换为 ONNX 格式
我想将 pix2struct Huggingface 基础模型转换为 ONNX 格式。我为此编写了代码。 进口火炬 将 torch.onnx 导入为 onnx 从 Transformers 导入 AutoModel 导入onnx 导入 onnxruntime
训练 BERT 变体时，出现 IndexError: index out of range in self
训练 XLMRobertaForSequenceClassification 时： xlm_r_model(input_ids = X_train_batch_input_ids ，attention_mask = X_train_batch_attention_mask , return_dict = False ...
Huggingface 使用来自集线器的数据集微调来自集线器的自定义模型 - 如何？
我想用“dxiao/requirements-ner-id”数据集训练“flax-community/t5-large-wikisplit”模型。 （仅用于一些实验） 我认为我的一般程序不正确...
我正在关注这篇文章： https://huggingface.co/blog/wav2vec2-with-ngram 我正在运行以下命令： kenlm/build/bin/lmplz -o 5 <"text.txt" > "5gram.arpa" 一个...
我想从我的笔记本电脑中删除张量流和拥抱脸部模型。 我确实找到了一个链接 https://github.com/huggingface/transformers/issues/861 但有没有命令可以删除它们......
关于data_collator在Huggingface中抛出关键错误的问题
我正在尝试使用以下代码在拥抱脸部中使用 data_collator 函数： 数据集 = dataset.train_test_split(test_size=0.1) train_dataset = 数据集[“火车”] val_dataset = 数据集[&quo...
我正在尝试安装 adapter-transformers=3.1.0，然后出现以下错误。我如何找到 tokenizers==0.9.2 的兼容适配器转换器版本？ 错误：pip 的依赖解析...
AttributeError: 'Wav2Vec2FeatureExtractor' 对象没有属性 'decode'
我正在尝试运行 wav2vec2 的简单示例并出现错误： 进口手电筒 从变压器导入 Wav2Vec2ForCTC，Wav2Vec2FeatureExtractor 进口图书馆 模型 = Wav2Vec2ForCTC.from_pretrained...
我无法在 colab 中从 Huggingface 运行 KOSMOS 2 模型
我正在尝试运行 kosmos 2 模型进行图像识别和描述。我正在尝试执行 Huggingface 中提供的代码来执行，但出现错误： 名称“Kosmos2Tokenizer”是...
在DataCollatorForLM中直接使用token_ids作为response_template（不起作用）？
我正在尝试在我的 SFT 脚本中使用 DataCollatorForCompletionOnlyLM 。我使用 LLAMA2 作为基本模型，因此我遇到了 HF 的 SFT 文章中提到的相同问题。我...
使用 HuggingFace 创建_csv_agent：无法解析 LLM 输出
我正在使用 Langchain 并在小型 csv 数据集上应用 create_csv_agent 来查看 google/flan-t5-xxl 从表格数据查询答案的效果如何。截至目前，我遇到的问题是'
例如类BertForSequenceClassification定义中，分类器只使用了一个Linear层。如果只用一个Linear layer，不就是给pool做线性投影吗……
没有名为“transformers.models.t5.modeling_t5”的模块
我正在 Jupyter Notebook 中使用 torch、huggingface 变压器和 t5 构建 ML 模型。当我尝试运行以下导入命令时 从 Transformer 导入 T5ForConditionalGeneration 我明白了...
我已经使用文档中的这段代码使用自定义数据集训练了一个自定义分词器。有没有一种方法可以让我将这个分词器添加到集线器并将其用作其他分词器
如何在 Python 3.8 中为 Google Colab 加载 sentence_transformers？
我正在尝试将 sentence_transformers 导入我的 Google Colab 笔记本（使用 Python 3.8）。目前我已经加载了这些包： 变形金刚==3.1.0 sentence_transformers==1.2.1 nltk 熊猫 #一些
如何防止transformer generate函数产生某些词？
我有以下代码： 从变形金刚导入 T5Tokenizer，T5ForConditionalGeneration tokenizer = T5Tokenizer.from_pretrained("t5-small") 模型 = T5ForConditionalGeneration.
huggingface重新加载后如何使用fine-tuned模型进行实际预测？
我正在尝试重新加载我已经微调的 DistilBertForSequenceClassification 模型，并使用它来将一些句子预测到它们适当的标签中（文本分类）。 在谷歌 Colab 中，在
我正在尝试使用拥抱模型（CamelBERT），但在加载分词器时出现错误： 代码： 从变压器导入 AutoTokenizer、AutoModelForMaskedLM 分词器=自动分词器。
如何使用 Huggingface 变压器加载基于 llama 的微调 peft/lora 模型？
我按照本教程（colab笔记本）来微调我的模型。 尝试加载我本地保存的模型 模型 = AutoModelForCausalLM.from_pretrained("finetuned_model") 产量 K...
我正在尝试使用我在 HuggingFace 上遇到的某个 BERT 模型。它被称为 jobspanbert。但是使用 TPU 在 Google Colab 上执行需要很长时间。 我开始怀疑，...
为 Hugging Face 嵌入模型部署 AWS SageMaker 终端节点
我想通过 aws sagemaker 部署一个 Huggingface 文本嵌入模型端点。 到目前为止，这是我的代码： 进口圣人 从 sagemaker.huggingface.model 导入 HuggingFaceModel # sess = 下垂...
进一步微调 Peft/LoRA 微调的 CausalLM 模型
我有点不确定如何继续讨论上述主题。 基线是通过 Huggingface 库创建的模型，作为 AutoModelForCausalLM 模型、PEFT 和 LoRA 方法以及后续的
我可以看到它们（数据集链接hf：https://huggingface.co/datasets/EleutherAI/pile/）： 但无论我如何更改下载网址，我都无法获取数据。文件不存在并且它们的脚本不存在...
我不确定“遗忘”是否是正确的术语——很可能不是。然而，当使用 PEFT 库微调句子转换器模型时 - 我的模型在某些方面变得更糟
我正在尝试训练音频数据的一致性模型，但不断出现以下错误。 “ValueError：无法创建张量，你应该激活截断和/或填充......
在大多数BPE（字节对编码）教程中，都会提到在单词后添加。这个标记的作用是区分一个子词是单词的前缀还是单词的后缀....
需要安装Accelerate和bitsandbytes，但我做到了
我正在尝试加载量化 从变形金刚导入 LlamaForCausalLM 从变压器导入 BitsAndBytesConfig 型号 = '/型号/' 模型 = LlamaForCausalLM.from_pretrained(模型,
我可以使用4位、8位版本的Transformers翻译模型吗？
量化版本是否可用于 LLM 之外的其他变压器模型，特别是翻译模型？我正在寻找有关以下型号的信息： 该型号： https://拥抱...
拥抱面变形器CUDA错误：CUBLAS_STATUS_NOT_INITIALIZE
我正在尝试微调 Facebook BART 模型，我正在关注这篇文章，以便使用我自己的数据集对文本进行分类。 我正在使用 Trainer 对象来训练： 训练参数 =
给出以下代码。为什么这个函数： model.generate() 返回一个摘要，它在哪里命令执行摘要而不是其他任务？我在哪里也可以看到相关文档。
我有一个简单的代码，它采用 opt6.7B 模型并对其进行微调。当我在 Google colab（Tesla T4，16GB）中运行这段代码时，它运行没有任何问题。但是当我尝试在 AWS p3-
我正在寻找离线/本地保存的模型，用于说话者分类，无需身份验证即可拥抱脸部。 我已经通过谷歌搜索并没有找到相同的相关链接。 有链接吗/
我正在尝试微调 Microsoft/DialoGPT 中型模型，但遇到了一些困难。这是我的错误 ValueError: The model did not return a loss from the inputs, only the following k...
在使用 BLOOM LLM 模型进行 token 分类时面对使用
我正在尝试导入 BloomTokenizer： 从变形金刚导入 BloomTokenizer，BloomModel 但收到以下错误消息： ImportError Traceback（最近的 ...