针对特定领域微调法学硕士很有吸引力，但是标签数据有限的场景又如何呢？未标记的数据或替代方法有效吗？
寻找有关最佳实践和成功案例的见解。
我正在探索针对特定领域微调大型语言模型（LLM），但标记数据很少。我希望获得有关此场景的最佳实践的见解。
具体来说，我感兴趣的是：
首先，您需要确定微调是否适合您的情况。
何时使用微调
微调 OpenAI 文本生成模型可以使其更好地用于 具体应用，但需要仔细投入时间 和努力。我们建议首先尝试使用以下方法获得良好结果 快速工程、快速链接（将复杂的任务分解为 多个提示）和功能 打电话， 主要原因是：
- 在许多任务中，我们的模型最初可能表现不佳，但通过正确的提示可以改善结果 - 因此可能不需要微调
- 迭代提示和其他策略比微调迭代具有更快的反馈循环，后者需要创建数据集 并运行培训工作
- 在仍然需要微调的情况下，最初的即时工程工作并没有浪费——我们通常会在以下情况下看到最好的结果： 在微调数据中使用良好的提示（或组合提示 链接/工具使用与微调）
在微调模型之前，我建议先使用提示提示工程指南
如果您仍然决心微调模型，您可以尝试这些方法：
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What's the capital of France?"}, {"role": "assistant", "content": "Paris, as if everyone doesn't know that already."}]}类似情况下对模型进行微调是没有用的。为您的任务定义一个一般情况和 5-6 个边缘情况。对于这些情况，手动标记数据并使用该数据集进行微调。
一些热门的：
半监督学习（SSL）：SSL是一类集成了监督和无监督学习的机器学习，以较小的数据来标记数据。 Github 精选的精彩半监督学习论文、方法和资源列表
迁移学习：迁移学习是一种预训练的 ML 模型，也用于标记数据。这个想法是利用一个已经在与您想要标记的数据集类似的数据集上训练的模型，并将其集成，对其进行微调以达到所需的准确性。 Github-迁移学习论文、代码、数据集、应用程序、教程。