统计jsonl文件的tokens以微调gpt

Question

如何计算在终端中运行 openai 命令后创建的 JSONL 文件的令牌。我确实知道，当我们运行创建模态的命令时，它会显示有关 taokens 使用情况和定价的统计信息，但我看不到统计信息，因为客户端连接挂起。

那么我如何计算代币数量，因为我想估计微调所需的价格

如何计算在终端中运行 openai 命令后创建的 JSONL 文件的令牌。我确实知道，当我们运行创建模态的命令时，它会显示有关 taokens 使用情况和定价的统计信息，但我看不到统计信息，因为客户端连接挂起。

那么我如何计算代币数量，因为我想估计微调所需的价格

Answer 1

您可以使用 OpenAI 的 tokenizer 来查看令牌是如何计算的。

您还可以使用tiktoken查看代币数量。