OpenAI开源超级对齐方法:用GPT-2,监督、微调GPT-4

添加书签

专注AIGC领域的专业社区,关注微软OpenAI、百度文心一言、讯飞星火等大语言模型(LLM)的发展和应用落地,聚焦LLM的市场研究和AIGC开发者生态,欢迎关注!

12月15日,OpenAI在官网公布了最新研究论文和开源项目——如何用小模型监督大模型,实现更好的新型对齐方法。

目前,大模型的主流对齐方法是RLHF(人类反馈强化学习)。但随着大模型朝着多模态、AGI发展,神经元变得庞大、复杂且难控制,RLHF便有点力不从心。

做个不太恰当的比喻,就像是工厂的保安一样:一个20人的小工厂,3个保安就能应付;如果发展到5000人的大工厂呢?仅靠人工就不太行,需要摄像头、智能门禁、温/湿传感器等设备,实现更高效的安全监控。

同理,OpenAI为了提升大模型的安全性,提出了“弱监督”的技术概念。并使用小参数的GPT-2去监督、微调GPT-4,同时使用辅助置信损失、无监督微调等增强方法,可以恢复GPT-4近80%的性能,达到GPT-3 和GPT-3.5之间的能力。

这表明,“弱监督”对齐方法是可行的。虽然目前还无法像RLHF那样拟人化、灵活,但这指明了一条全新对齐方向,用AI监督、微调AI,是未来提升大模型安全、性能的重要渠道之一。

开源地址:https://github.com/openai/weak-to-strong

论文下载地址:https://cdn.openai.com/papers/weak-to-strong-generalization.pdf

此外,OpenAI还公布成立了一个1000万美元的“超级对齐”安全专款。主要用于研究大模型的超级对齐,深度研究“弱监督”技术等。

个人开发者、研究机构、非盈利机构都能申请该奖金,申请流程非常方便简单。但需要在2024年2月18日之前完成申请

申请地址:https://airtable.com/appnIXmOlWAJBzrJp/paghnoKL6EHiKmKbf/form

由于OpenAI公布论文的内容太多,技术概念也比较复杂,「AIGC开放社区」就用简单易懂的方式为大家解读。

什么是RLHF

需要先简单介绍一下RLHF,以便更好地理解OpenAI提出的“弱监督”技术概念。

RLHF的中文译为“人类反馈强化学习”,是一种结合人类指导和自动强化学习的训练方法

人类通过对AI的行为进行评价或指导,帮助其在学习过程中做出更好的决策。

由于人类可以通过直觉、视觉和实践经验等来帮助AI,因此,应用RLHF的产品在拟人化方面获得大幅度提升。

简单来说,可以把RLHF看成是一种“妈妈教孩子”的的训练方法。AI相当于刚出生毫无经验的孩子,当他摔倒在地时,母亲(RLHF)会告诉他如何避免摔倒,以及更好的走路方法,孩子可以在这种不断反馈的学习环境中快速成长。

在过去的研究中,“强监督”一直被认为是训练智能模型的最佳方法,通过为模型提供准确的标签来监督其学习过程,RLHF便是最典型的应用。

然而,这种方法存在一些限制和挑战。因为,获取准确的标签可能非常困难或耗费大量时间,同时对于一些复杂的任务,人类很难准确地定义标签或出现偏见

例如,最初的ChatGPT等产品会生成歧视内容,数据标签不准确是出现这个情况的主要原因之一

因此,OpenAI提出了“弱监督”,希望用AI替代人工来监督大模型的行为表现。

“弱监督”简单介绍

为了探索“弱监督”应用潜力,研究人员使用了一系列GPT-4系列语言模型,在NLP、国际象棋和奖励建模任务中进行了深度测试。

惊奇发现,当使用弱模型生成的标签,对强预训练模型进行微调、指导时,强模型通常比弱监督模型表现更好,这一现象被称为“弱到强的泛化”。

简单来说,就是老师教完学生知识,学生居然比老师还强大。

多种增强“弱监督”方法

但是仅通过简单的微调并不能充分发挥强模型的全部性能,因此,研究人员尝试了一些别的方法来改善弱到强的泛化效果,以匹配RLHF训练模型的能力。

研究人员分别使用了辅助置信损失、中间模型的引导监督和无监督微调等方法。

辅助置信损失,主要用来更好地指导模型进行学习。例如,在处理具有噪声标签或不确定性很高的数据时,辅助损失可以帮助模型区分易于预测和难以预测的样本。

中间模型的引导监督,可以作为一个桥梁,将弱模型的监督信号传递给强模型,帮助其更好地学习弱模型的知识和表现。

无监督微调,可使强模型在没有标签监督的情况下进行微调,从而使其能够更好地适应新的任务和数据。

研究人员在NLP等测试任务中进行了实验,结果显示,使用GPT-2作为监督来微调GPT-4模型,并在上述增强功能的帮助下,性能差距仅有20%左右,达到了GPT-3 和GPT-3.5之间的能力。

本文素材来源OpenAI论文、开源项目,如有侵权请联系删除

END

本篇文章来源于微信公众号: AIGC开放社区