在微调LLM模型时如何给数据集赋予权重或排名？

Question

我目前正在使用 Llama 配方和 LoRA 技术对 meta-llama/Llama-2-7b-chat-hf 模型进行微调。我的方法包括采用即时工程来改进模型的性能，利用以羊驼格式呈现的数据：

[
    {
        "instruction": "What is CubeOS?",
        "input": "",
        "output": "CubeOS is the specialized operating system encompassing all the necessary software and drivers to operate Cubes."
    },
    {
        "instruction": "What is Myst?",
        "input": "",
        "output": "Myst serves as the console interface for the Cubes, and it is also the designated name for the accompanying app."
    },
    .
    .
    .
]

这个过程使我能够有效地微调模型，并将其应用于回答与机密文件有关的问题。

我尝试过给问答对分配分数，然后按照这些分数的顺序排列它们进行微调。然而，我遇到了挑战，因为该模型似乎没有根据分数较高的数据的重要性给出结果。

我看到一篇标题为 https://towardsdatascience.com/how-to-fine-tune-llama2-for-python-coding-on-consumer-hardware-46942fa3cf92 的文章，作者似乎采用了类似的方法.

此外，我还探索了其他资源，提出了一种方法，涉及确定各个特征的相关性分数，然后对它们进行排序以进行微调。以下链接https://pyvideo.org/pydata-warsaw-2019/learning-to-rank-with-the-transformer.html提供了对此技术的见解。

我还尝试使用 llama-2 所需的提示结构来训练模型：

<s>[INST] <<SYS>> {{ system_prompt }} <</SYS>> {{ user_message }} [/INST]

然而，这种方法并没有对答案产生令人满意的重视。

鉴于我拥有 PDF 和 DOC 格式的文档，我的目标是为特定文档分配更大的权重，并确保它们优先出现在最佳答案中。

我非常感谢您指导如何通过合并权重或分数来强调某些文档的重要性来微调模型。

Answer 1

我也在处理非常类似的问题案例。 正如我在您的案例中读到的那样，您有多种 word、pdf 文档选项，并且您希望赋予它们不同的权重。

就我而言，我有单维数据，例如一维数组，我想将该数组划分为多个块并分配不同的权重。

我尝试使用Python字典来解决这个问题，其中每个块都是项目，权重是值。除此之外，我还使用带有一些镜头示例的提示来解决这个问题。 我仍在修剪我的模型并提示获得答案，但请告诉我这种方法是否适合您。 我也在使用相同的骆驼模型。