尝试在 langchain 中使用 llama3 获取 json 输出。这是我的提示模板：
<|begin_of_text|><|start_header_id|>系统<|end_header_id|>您是一个有用的文本相似度助手。在此列表 ({context}) 中查找与该句子 ({query}) 相同单词最多的句子，忽略词序并关注否定词（例如“not”、“no”、“never”） ）。在寻找匹配的句子时，考虑每个单词并选择单词最匹配的那个。返回一个 JSON 对象，其中匹配的句子作为键“key”的值，“REPORTABLE”、“NOT REPORTABLE”或“REVIEW”之一作为“value”的键。 <|end_header_id|><|start_header_id|>助理<|end_header_id|>
尽管我告诉模型返回名为“value”的键，但有时它不会。我有一些错误处理来调用模型 10 次，但它给出了相同的响应（没有“value”键）并出现错误。有没有办法让它始终给我“值”键？
根据 https://github.com/meta-llama/llama3/issues/88 Llama3 不支持函数调用。
您可以尝试其他微调模型
https://huggingface.co/Trelis/Meta-Llama-3-70B-Instruct-function-calling