声明:本文来自微信公众号“新智元”,作者:新智元,,授权Soraor转载发布。

越来越多研究发现,后训练对模型性能同样重要。Allen AI的机器学习研究员Nathan Lambert最近发表了一篇技术博文,总结了科技巨头们所使用的模型后训练配方。

随着LLM学界和工业界日新月异的发展,不仅预训练所用的算力和数据正在疯狂内卷,后训练(post-training)的对齐和微调方法也在不断更新。

InstructGPT、WebGPT等较早发布的模型使用标准RLHF方法,其中的数据管理风格和规模似乎已经过时。

最近几个月来,Meta、谷歌和英伟达等AI巨头纷纷发布开源模型,附带发布详尽的论文或报告,包括Llama3.1、Nemotron340B、Gemma2,以及Apple Intellegence的基础模型报告。

从这些披露的信息中,我们可以看到后训练方法的一些前沿变化趋势。Allen AI研究科学家Nathan Lambert最近就这个话题发布了一篇文章。

image

原文地址:https://www.interconnects.ai/p/frontier-model-post-training

Nathan Lambert博士毕业于UC伯克利,曾在HuggingFace领导RLHF团队,目前是Allen AI的机器学习研究员。

他在文章中指出,合成数据、迭代训练、人类偏好标签和大量过滤,是这些模型所用后训练方法的共同特点。具体来说,新的后训练配方建立在以下预设的基础上:

  • 合成数据的质量可能高于人类数据,特别是对于具有挑战性的任务

  • RLHF可以比指令微调扩展到更大规模

  • 需要多轮训练和生成才能得到最佳模型

  • 数据过滤是训练中最重要的部分

这些假设在很大程度上相互交织,构成了可以扩展到大型团队的训练方案,非常适用于科技巨头。文章的具体内容对以上四点分别做出了详细阐释。

新的标准Pipeline

如果我们认为ChatBot Arena分数衡量了模型的后训练表现,这就很大程度上与风格和鲁棒性相关,几乎所有的主要实验室都通过迭代训练获得了显著收益。

我们还没有看到Gemini2或GPT-5发布,它们也许会重置目前的后训练范式,并有可能解锁我们对模型更深层次的控制能力。

但从目前来看,各个顶级实验室所用的方法明显趋同,这种趋势比预期中要清晰得多。

最初的RLHF管道的重点是人类数据,主要有两种形式:1)用于对专门任务进行指令微调的人类数据;2)有关任务完成度的人类偏好数据。

这类微调数据集成本高昂且被严格保护,据我所知,唯一的公开的应该只有Lambert在HuggingFace团队时发布的No Robots。

image

仓库地址:https://huggingface.co/datasets/HuggingFaceH4/no_robots

人类偏好数据很大程度上与特定模型的改进有关。但即使在数据可以开放的情况下,也不能确定可以将一个模型的偏好迁移至另一个模型。

Lambert在HuggingFace时曾和团队做过类似的尝试,但在小型付费数据合同上失败了。

现在,唯一用到人类数据的方面就是偏好数据。从Llama2披露的数据和其他传闻来看,Meta可能在偏好数据上花费了10M-20M美元,甚至更多。这还仅限于最终发布的模型,不包括更广泛的实验和评估。

Nemotron则使用大量合成数据来替代人类数据,但相对而言,这个模型的微调并不那么出色。

对开放社区而言,有一个迫在眉睫的挑战,但同时也是机遇:弄清这类数据中的人为干预的程度,能否用LLM-as-a-Judge或奖励模型等方法代替。

Llama3的对齐负责人Thomas Scialom在播客节目Latent Space上曾说道:

RLHF的可扩展性要高得多。它成本更低、更容易操作,并且通常会带来更好的性能。

image

他还表示,自己会将「100%的对齐数据预算用于RL阶段所需的对齐数据,而不是在指令上花费更多时间。」

开源的对齐工作中大多专注于扩展指令微调(IFT,或称为 SFT)。IFT容易操作、适用于多种任务,而且方便与合成数据共同使用。

但很明显,产业界仅将IFT作为扩展RLHF的起点。SFT数据主要关注以前模型未能覆盖的特定领域,然后在此基础上扩展RLHF。

RLHF是一个迭代过程,模型的生成过程可以让它继续改进。Llama2和 Nemotron论文中详细介绍了5轮训练,但我们不知道这个数字是否有上限。

Llama3.1进行了6轮偏好数据的训练,Llama2是5轮,Nemotron是4轮,之前还有多轮指令微调。

对于人类偏好数据而言,进行多轮迭代可能主要出于可行性方面的考量:

  1. 数据从注释公司分批传送到实验室

  2. 进行多轮小规模的训练可以降低最终产品交付的风险。与其等待所有数据到位后才开始训练,不如让模型逐渐步入正轨

这类现实因素看起来无关紧要,但往往会触发某种行业规范。

下面这张图片来自Llama2论文,记录了5轮拒绝采样和PPO相关的数据。

image

Nemotron还进行了2轮SFT微调和4轮对齐。其中,RPO是用DPO优化器加权的奖励模型。

image

类似的迭代RLHF方法可以追溯到Anthropic提出的「宪法人工智能」,但开源社区似乎没有大规模复现这个结果。

image

目前,学术界正在关注「在线DPO训练」,这在方向上是相似的,但对各轮之间数据没有那么关注。这种方法目前仍需要大量手动操作,但一旦实现流程自动化,在线DPO将成为未来。

事实上,各个团队对后训练阶段的算法选择不应该如此一成不变。DPO和PPO各有优劣,前者更容易扩展,但PPO启发的方法(如在线RL)具有更高的性能上限。

目前这些方案主要出于简洁性考量,因为这些团队仍然相对较新并且正在构建模块化系统,Llama3后训练团队中一名成员的说法也证实了这种具备工程简洁性的方法。

image

Llama3有一个简单的后训练循环:拒绝采样、SFT 和 DPO。这不仅在经验层面有最佳性能,还实现了可复现性。而且,团队可以异步探索许多不同的工作流(例如编码、数学),将数据汇集到同一个简单的循环中。

这种新的RLHF循环中,很重要的一环是在大多数任务上超越人类能力的合成指令数据。

如果可以让模型有一点点提升、生成更好的指令,那就「重新开始」,更新检查点。

Meta在论文中明确表示,他们「使用405B模型来提高我们较小模型的后训练质量」;谷歌通过蒸馏出Gemini Flash来做到这一点,但实际上大多数前沿模型可能都包含一些类似步骤。

我听说OpenAI正在使用50万亿token的数据训练下一代模型,其中大部分为合成数据。去年有一个传言,Anthropic拥有「预训练规模的宪法AI语料库」,现在看来这也很合理。

这些AI公司意识到合成数据的重要性应该是在12~18个月之前,当他们不再使用模型输出进行自我迭代训练的时候。但Meta不一样,因为受益于其他更好的开放模型。

看看当今的后训练就可以清楚知道,合成数据造成模型崩溃的问题被过分夸大了。只有在人为设置的环境中,丢弃原始数据、只留下生成的新数据时,才会发生模型崩溃。

Llama3.1报告的大部分内容都是关于数据管理的细节,其中每个相关的子领域都需要广泛而具体的管理说明。

这与我所知的OpenAI John Schulman领导的后训练团队以及其他类似团队的工作情况相符——指定一个特定领域,获得相关数据,然后模型就会变得更好。

但如果没有大量的数据过滤和管理,上述的RLHF方法都不起作用。

在Allen AI,我们在后训练流程中开始更加优先考虑数据,可以立即感受到模型提升速度的变化。

案例分析——Nemotron和Llama

Llama的后训练流程如下:

image

Nemotron的这张图比较简略:

image

综合起来可以看到大多数方法的共同点。

但下面这张图表,以及大多数行业研究论文都忽视了数据。

image

Llama3.1等模型到报告中有提及了很多细节,比如正则化、对损失函数的调整、模型平均等等,但这些都是模型性能的边际收益,很大程度上超出了核心微调循环的范围。

到了一定的时间节点,这些细节都会变得微不足道。

参考资料:

https://www.interconnects.ai/p/frontier-model-post-training