PyTorch：AttributeError：“torch.dtype”对象没有属性“itemsize”

Question

我正在尝试在媒体文章上关注这篇文章。

我遇到了一些问题，所以我所做的剩余更改是对我添加的

TrainingArguments

对象。所以现在我有以下对象：

gradient_checkpointing_kwargs={'use_reentrant':False},

当我打电话给

peft_training_args = TrainingArguments(
    output_dir = output_dir,
    warmup_steps=1,
    per_device_train_batch_size=1,
    gradient_accumulation_steps=4,
    max_steps=100, #1000
    learning_rate=2e-4,
    optim="paged_adamw_8bit",
    logging_steps=25,
    logging_dir="./logs",
    save_strategy="steps",
    save_steps=25,
    evaluation_strategy="steps",
    eval_steps=25,
    do_eval=True,
    gradient_checkpointing=True,
    gradient_checkpointing_kwargs={'use_reentrant':False},
    report_to="none",
    overwrite_output_dir = 'True',
    group_by_length=True,
)

peft_model.config.use_cache = False

peft_trainer = transformers.Trainer(
    model=peft_model,
    train_dataset=train_dataset,
    eval_dataset=eval_dataset,
    args=peft_training_args,
    data_collator=transformers.DataCollatorForLanguageModeling(tokenizer, mlm=False),
)

时，我收到以下错误：

peft_trainer.train()

我正在使用Databricks，我的pytorch版本是

AttributeError: 'torch.dtype' object has no attribute 'itemsize'

Answer 1