Colaboratory 中训练参数导入错误

Question

我正在将 Google Colaboratory 用于我的 NLP 项目。我安装了 trasformer 和其他库，但出现错误。

from transformers import Trainer, TrainingArguments

batch_size = 64
logging_steps = len(stationary_dataset_encoded["train"]) // batch_size
model_name = f"{model_ckpt}-finetuned-stationary-update"
training_args = TrainingArguments(output_dir=model_name,
                                  num_train_epochs=10,
                                  learning_rate=2e-5,
                                  per_device_train_batch_size=batch_size,
                                  per_device_eval_batch_size=batch_size,
                                  weight_decay=0.01,
                                  evaluation_strategy="epoch",
                                  disable_tqdm=False,
                                  logging_steps=logging_steps,
                                  push_to_hub=False,
                                  log_level="error")

在 traning_args 行中，我收到导入错误。其显示为：

ImportError                               Traceback (most recent call last)
<ipython-input-98-839907b16fa0> in <cell line: 6>()
      4 logging_steps = len(stationary_dataset_encoded["train"]) // batch_size
      5 model_name = f"{model_ckpt}-finetuned-stationary-update"
----> 6 training_args = TrainingArguments(output_dir=model_name,
      7                                   num_train_epochs=10,
      8                                   learning_rate=2e-5,

4 frames
/usr/local/lib/python3.10/dist-packages/transformers/training_args.py in _setup_devices(self)
   1785     def __str__(self):
   1786         self_as_dict = asdict(self)
-> 1787
   1788         # Remove deprecated arguments. That code should be removed once
   1789         # those deprecated arguments are removed from TrainingArguments. (TODO: v5)

ImportError: Using the `Trainer` with `PyTorch` requires `accelerate>=0.20.1`: Please run `pip install transformers[torch]` or `pip install accelerate -U

尝试：重新安装变压器。使用

pip install accelerate -U

并使用 PyTorch ccelerate >= 0.20.1

Exopect：我如何解决这个问题

Answer 1

您的 Transformer 库安装可能存在问题。

1. 卸载电流互感器库。
2. 重新安装变压器库。
3. 安装加速库。
4. 确保您拥有正确版本的 PyTorch。

!pip uninstall -y transformers
!pip install transformers
!pip install accelerate -U

使用以下命令检查您的 PyTorch 版本：

import torch
print(torch.__version__)

提示您需要安装0.20.1或更高版本的加速库。

您可以使用以下命令安装它：

!pip install accelerate -U

您可能想尝试安装带有额外火炬的变压器库。这可以通过以下命令来完成：

!pip install transformers[torch]