内容摘要：微调都不要了？3个样本、1个提示搞定LLM对齐，提示工程师：全都回来了 2023年12月06日 13:04机器之心Pro

1个提示搞定LLM对齐 
，微调微调都不要了？3个样本、都不M对而对齐则是个样搞定 教会它与用户交互时如何选择子分布 。偏好学习则是提示一种典型的人类反馈强化学习（RLHF） ，为了让这些基础的齐提全都 LLM 成为有用且无害的 AI 助手
，结果发现，示工

然而，程师不过，微调因此
 ，都不M对

因此，个样搞定

先来看下指令调优的提示定义 ，大多数分布偏移都伴随着风格化 token ，齐提全都对对齐调优的示工影响进行了全面的分析 。Meta AI 等机构的程师一项研究 LIMA 提出了表面对齐假设：模型的知识和能力几乎完全是在预训练期间学习的  ，基础 LLM 与其对齐调优版本在大多数 token 位置的微调解码表现几乎一样 ，他们证明了只需要 1000 个样本的监督微调也能产生高质量的对齐模型，提示工程师
：全都回来了 2023年12月06日 13:04 机器之心Pro 新浪财经APP 缩小字体 放大字体 收藏 微博 微信 分享 腾讯QQ QQ空间

大模型的效果好不好，

在近日的一篇论文中 ，安全免责声明 。为该假设提供了间接支持  ，

研究人员往往使用指令调优和偏好学习对它们进行微调。有时候对齐调优很关键。艾伦人工智能研究所和华盛顿大学的研究者用「免调优」对齐新方法超越了使用监督调优（SFT）和人类反馈强化学习（RLHF）的 LLM 性能。似乎释放了令人印象深刻的能力 ，但近来很多研究开始探索无微调的方法，仅在无监督文本语料库上预训练的基础大语言模型（LLM）通常无法直接用作开源域的 AI 助手（如 ChatGPT） 。该假设的决定性和直接支持证据仍未得到充分探索 。主要使用人工注释或者从 GPT-4 等专有 LLM 中收集的数据 。比如话语标记语、而回答用户查询所需的知识主要来自基础 LLM 本身
。基于调优的对齐促使 LLM 显著改进 ，来自艾伦人工智能研究所（AI2）和华盛顿大学的研究者通过检查基础 LLM 与它们的对齐模型（比如 Llama-2 和 Llama2-chat）之间的 token 分布偏移 ，他们认为这些证据强烈支持了这样的假设：对齐调优主要学习采用 AI 助手的语言风格，

这就向广大研究人员抛出了一个重要的问题 ：分析对齐调优如何准确地改变基础 LLM 的行为。表明了对齐调优的效果可能是表面的。

我们知道 ，并表明广泛的微调对构建 AI 助手至关重要
。即它们共享排名靠前的 token  。它是一种监督微调（SFT）过程 ，它不断地调优监督微调后的 LLM 以进一步对齐人类偏好。