文章地址 ：https://lilianweng.github.io/posts/2021-01-02-controllable-text-generation/
另一个研究攻击 LLM 的模型分支是为了提取预训练数据 、虽然大多数商用和开源 LLM 都存在一定的抗攻内置安全机制 ，研究如何在对齐过程中为模型构建默认的击防安全行为 。Lilian Weng 之前曾写过一篇文章《Controllable Text Generation》探讨过这一主题 。安全而近期的系统工作则开始更多关注生成模型的输出。但是负责 ，本文探讨的人长是大型语言模型 ，OpenAI安全系统负责人长文梳理 ：大模型的文梳对抗攻击与防御 2023年11月20日 12:42 机器之心Pro 新浪财经APP 缩小字体 放大字体 收藏 微博 微信 分享 腾讯QQ QQ空间
选自Lil’Log
作者 ：Lilian Weng
机器之心编译
编辑 ：Panda
LLM 能力强大 ，简单来说 ：攻击 LLM 本质上就是模型控制该模型输出特定类项的（不安全）内容。
人们普遍认为攻击会困难得多。或通过数据毒化攻击模型训练过程 。
随着 ChatGPT 的发布 ，许多早期研究关注的重点是分类任务 ，近日 ，OpenAI 的安全系统团队已经投入了大量资源 ，梳理了针对 LLM 的对抗攻击类型并简单介绍了一些防御方法 。也就是说模型权重是固定的。
目前在对抗攻击方面的研究很多集中在图像方面 ，而对于文本这样的离散数据 ，OpenAI 安全系统（Safety Systems）团队负责人 Lilian Weng 发布了一篇博客文章《Adversarial Attacks on LLMs》，
基础知识
威胁模型
对抗攻击是诱使模型输出我们不期望的内容的输入 。也就是在连续的高维空间 。并且假定攻击仅发生在推理阶段 ，大型语言模型应用正在加速大范围铺开。由于缺乏梯度信号 ，对抗攻击或 prompt 越狱依然有可能让模型输出我们不期望看到的内容。