我正在尝试使用 Huggingface Trainer API 微调 BERT 模型以进行情感分析（将文本分类为正面/负面）。我的数据集有两列，
TextSentimentText Sentiment
This was good place 1
This was bad place 0
这是我的代码：
from datasets import load_dataset
from datasets import load_dataset_builder
from datasets import Dataset
import datasets
import transformers
from transformers import TrainingArguments
from transformers import Trainer
dataset = load_dataset('csv', data_files='./train/test.csv', sep=';')
tokenizer = transformers.BertTokenizer.from_pretrained("TurkuNLP/bert-base-finnish-cased-v1")
model = transformers.BertForSequenceClassification.from_pretrained("TurkuNLP/bert-base-finnish-cased-v1", num_labels=1)
def tokenize_function(examples):
return tokenizer(examples["Text"], truncation=True, padding='max_length')
tokenized_datasets = dataset.map(tokenize_function, batched=True)
tokenized_datasets = tokenized_datasets.rename_column('Sentiment', 'label')
tokenized_datasets = tokenized_datasets.remove_columns('Text')
training_args = TrainingArguments("test_trainer")
trainer = Trainer(
model=model, args=training_args, train_dataset=tokenized_datasets['train']
)
trainer.train()
运行此程序会引发错误：
Variable._execution_engine.run_backward(
RuntimeError: Found dtype Long but expected Float
错误可能来自数据集本身，但我可以用我的代码以某种方式修复它吗？我在网上搜索了一下，这个错误似乎之前已经通过“将张量转换为浮点数”解决了，但是我该如何使用 Trainer API 来解决呢？非常感谢任何建议。
一些参考：
https://discuss.pytorch.org/t/run-backward-expected-dtype-float-but-got-dtype-long/61650/10
问题很可能出在损失函数上。如果您正确设置模型，则可以解决此问题，主要是通过指定要使用的正确损失。请参阅此代码以查看决定适当损失的逻辑。
您的问题具有二进制标签，因此应将其视为单标签分类问题。因此，您共享的代码将被推断为回归问题，这解释了它期望浮动但发现目标标签为长类型的错误。
您需要传递正确的问题类型。
model = transformers.BertForSequenceClassification.from_pretrained(
"TurkuNLP/bert-base-finnish-cased-v1",
num_labels=1,
problem_type = "single_label_classification"
)
这将利用 BCE 损失。对于 BCE 损失，您需要目标浮动，因此您还必须将标签强制转换为浮动。我认为你可以使用数据集 API 来做到这一点。请参阅这个。
另一种方法是使用多类分类器或 CE 损失。为此，只需修复
num_labelsmodel = transformers.BertForSequenceClassification.from_pretrained(
"TurkuNLP/bert-base-finnish-cased-v1",
num_labels=2,
)
这里我假设您正在尝试进行一个标签分类，即预测单个结果而不是预测多个结果。
但是你使用的损失函数（我不知道你在使用什么，但可能是 BCE），期望你提供一个向量作为标签。
因此，要么您需要按照评论中的建议将标签转换为向量，要么您可以用交叉熵损失替换损失函数，并将标签参数的数量更改为 2（或其他）。两种解决方案都有效。
如果您想将模型训练为多标签分类器，您可以使用 sklearn.preprocessing 将标签转换为向量：
from sklearn.preprocessing import OneHotEncoder
import pandas as pd
import numpy as np
dataset = pd.read_csv("filename.csv", encoding="utf-8")
enc_labels = preprocessing.LabelEncoder()
int_encoded = enc_labels.fit_transform(np.array(dataset["Sentiment"].to_list()))
onehot_encoder = OneHotEncoder(sparse = False)
int_encoded = int_encoded.reshape(len(int_encoded),1)
onehot_encoded = onehot_encoder.fit_transform(int_encoded)
for index, cat in dataset.iterrows():
dataset.at[index , 'Sentiment'] = onehot_encoded[index]
您可以投射您的数据。
如果您有 Pandas 格式。你可以这样做：
df['column_name'] = df['column_name'].astype(float)
如果您有 HuggingFace 格式。你应该做这样的事情：
from datasets import load_dataset
dataset = load_dataset('glue', 'mrpc', split='train')
from datasets import Value, ClassLabel
new_features = dataset.features.copy()
new_features["idx"] = Value('int64')
new_features["label"] = ClassLabel(names=['negative', 'positive'])
new_features["idx"] = Value('int64')
dataset = dataset.cast(new_features)
之前：
dataset.features
{'idx': Value(dtype='int32', id=None),
'label': ClassLabel(num_classes=2, names=['not_equivalent', 'equivalent'], id=None),
'sentence1': Value(dtype='string', id=None),
'sentence2': Value(dtype='string', id=None)}
之后：
dataset.features
{'idx': Value(dtype='int64', id=None),
'label': ClassLabel(num_classes=2, names=['negative', 'positive'], id=None),
'sentence1': Value(dtype='string', id=None),
'sentence2': Value(dtype='string', id=None)}
分类模型默认进行二元分类，num_labels 类设置为 None。将 num_labels 设置为 1 会导致回归问题，因此会出现您遇到的错误。您可以在这里阅读更多相关信息：https://simpletransformers.ai/docs/classification-models/#classificationmodel