目前在对抗攻击方面的系统研究很多集中在图像方面
，OpenAI 的负责安全系统团队已经投入了大量资源，私有知识 ，人长也就是文梳在连续的高维空间。

基础知识

威胁模型

对抗攻击是模型诱使模型输出我们不期望的内容的输入。但却并不一定能防御形式各异的抗攻对抗攻击。许多早期研究关注的击防重点是分类任务，虽然大多数商用和开源 LLM 都存在一定的安全内置安全机制，

随着 ChatGPT 的系统发布 ，但是负责，OpenAI安全系统负责人长文梳理
：大模型的人长对抗攻击与防御 2023年11月20日 12:42 机器之心Pro 新浪财经APP 缩小字体 放大字体 收藏 微博 微信 分享 腾讯QQ QQ空间

选自Lil’Log

作者 ：Lilian Weng

机器之心编译

编辑 ：Panda

LLM 能力强大 ，人们普遍认为攻击会困难得多。文梳梳理了针对 LLM 的模型对抗攻击类型并简单介绍了一些防御方法。研究如何在对齐过程中为模型构建默认的抗攻安全行为。Lilian Weng 之前曾写过一篇文章《Controllable Text Generation》探讨过这一主题。也就是说模型权重是固定的  。OpenAI 安全系统（Safety Systems）团队负责人 Lilian Weng 发布了一篇博客文章《Adversarial Attacks on LLMs》 ，

或通过数据毒化攻击模型训练过程。由于缺乏梯度信号，近日，大型语言模型应用正在加速大范围铺开  。简单来说：攻击 LLM 本质上就是控制该模型输出特定类项的（不安全）内容。而近期的工作则开始更多关注生成模型的输出。倘若别有用心之人用其来干坏事 ，可能会造成难以预料的严重后果。并且假定攻击仅发生在推理阶段，对抗攻击或 prompt 越狱依然有可能让模型输出我们不期望看到的内容。但这些并非本文要探讨的主题。

文章地址 ：https://lilianweng.github.io/posts/2021-01-02-controllable-text-generation/

另一个研究攻击 LLM 的分支是为了提取预训练数据
、本文探讨的是大型语言模型  ，