如何在自己的代码库上微调LLM模型？

Question

我有 10 个 Javascript (VueJS) 代码存储库（每个存储库对应 1 个主题）

我想在这 10 个代码存储库上训练 LLM 模型，以便我可以使用提示生成新主题。

LLM模型以10个代码存储库的上下文为参考（因为所有存储库的文件结构都是相似的）

我是法学硕士和机器学习的初学者。

如何在我自己的代码库上微调 LLM 模型？

Answer 1

因此，您实际上可以做的是创建一个自定义提示并传递一两个示例，以便 llm 从一个或几个镜头中学习。稍后在自定义提示中，您可以传入您希望 llm 做出决定并为您提供输出的参数。对于此类任务，我觉得 GPT-3 等 OpenAI 模型效果很好。

希望它能回答你的问题:)