XLNetForQuestionAnswering 的某些权重未从 xlnet-base-cased 的模型检查点初始化,而是新初始化的:

问题描述 投票:0回答:0

XLNetForQuestionAnswering 的一些权重未从 xlnet-base-cased 的模型检查点初始化,而是新初始化的:['start_logits.dense.weight', 'answer_class.dense_0.weight', 'answer_class.dense_0.bias', 'end_logits .LayerNorm.bias'、'end_logits.dense_0.weight'、'end_logits.dense_0.bias'、'end_logits.dense_1.bias'、'end_logits.dense_1.weight'、'answer_class.dense_1.weight'、'end_logits.LayerNorm .weight', 'start_logits.dense.bias'] 您可能应该在下游任务上训练该模型,以便能够将其用于预测和推理。 1

如何解决这个问题?

python pytorch torch
© www.soinside.com 2019 - 2024. All rights reserved.