基于 mT5 的摘要任务微调

问题描述 投票:0回答:1

我是人工智能模型的初学者,我正在尝试微调模型以完成摘要任务。

我尝试了 bert-multilingual-cased 和 mT5,但它们都有同样的问题:摘要不超过大约 11 个单词,而且它们都不是好的摘要。

我使用了翻译成阿拉伯语的 SAMSum 会话数据集。我不知道如何解决这个问题!我想通过指定 max_input_length = 1024 和 max_target_length = 128,我保证它有效,但它不起作用,而且我无法弄清楚问题出在哪里。您可以在这里找到用于微调的代码(我复制了从 YouTube 视频中找到的笔记本):

https://colab.research.google.com/drive/1-2MlMW65K_2U68e5-3nbVwD1t9k-XgK3?usp=sharing

你能帮我找出问题所在吗?

你可以在这里尝试我的模型

https://huggingface.co/shahadalll/mt5-base-finetuned-mt5-summarization-task

artificial-intelligence huggingface-transformers summarization
1个回答
0
投票

我在huggingface中没有找到任何合理的对话总结模型,即使你微调也不会改善

© www.soinside.com 2019 - 2024. All rights reserved.