LLM的高阶应用「模型微调」

冻结层微调：在冻结层微调中，模型的一部分参数（通常是预训练模型的底层参数）被冻结，不参与微调过程，而只有顶层的参数会被更新。这种方法适用于新任务与预训练任务相似度较高，或者新任务的数据量较小的情况。

适应性微调：适应性微调是一种更为灵活的方法，它允许模型在微调过程中动态地调整哪些参数需要更新。这种方法可以根据新任务的特定需求，有选择性地更新模型参数。

三、模型微调的流程

以 GPT 模型 的 API 来微调 LLM，具体流程包括：准备数据、上传数据、执行微调任务、微调模型调用，4 个步骤：

1、准备数据：

更新 LLM 需要提供一个包含示例的数据集。该数据集应该是一个 JSONL 文件，其中每一行对应一个提示词补全文本对。

JSONL 文件是文本文件，其中每一行表示一个单独的 JSON 对象。有点儿类似于 MangoDB 之类的文档数据库类型。

如果你有足够的数据，那么该工具会询问你是否要将数据分为训练集和验证集。这是一种推荐的做法。算法将使用训练集来微调模型参数。验证集则用于衡量模型在未用于更新参数的数据上的性能。

对 LLM 的微调受益于高质量示例，最好由专家审核。当使用已有数据集进行微调时，请确保对数据进行筛查，以排除具有冒犯性的内容或不准确的内容。如果数据集过大而无法手动审核所有内容，则可以检查随机样本。

2、上传数据

准备好数据后，需要将其上传到 OpenAI 服务器。OpenAI API 提供了不同的函数来操作文件。上传文件的方法如下：

两个参数是必需的：file 和 purpose。在微调时，将 purpose 设置为 fine-tune。这将验证用于微调的下载文件格式。此函数的输出是一个字典，你可以在 id 字段中检索文件 ID。

删除文件：openai.File.delete ( “ file-z5mGg ( … ) ” ) ，file_id 参数是必需的。

列出所有已上传的文件：openai.File.list ( )

3、执行微调的任务

微调已上传文件是一个简单的过程。端点 openai.FineTune.create 在 OpenAI 服务器上创建一个作业，以根据给定的数据集优化指定的模型。该函数的响应包含排队作业的详细信息，如作业的状态、fine_tune_id，以及过程结束时模型的名称。