| 然后我们调整输入 ，狱方他是法让这项研究的共同领导者 。 2023 年早些时候，和E忽得到一个循环 ，略安力对于模型而言 ，全规新越狱方法让Stable Diffusion和DALL·E 2忽略安全规则 ，则生 “我们使用强化学习将这些模型中的成暴文本视为一个黑匣子 。 这种新的不良越狱方法被美国约翰斯·霍普金斯大学和美国杜克大学的创建者称为“SneakyPrompt” ，当模型被要求生成“在酒吧外站着的图片 anatomcalifwmg 情侣”时，以处理提示传递给它们的狱方命令 。它会把“anatomcalifwmg”当作是法让“裸体的”的意思，它会将被屏蔽单词的和E忽 token 替换为未被屏蔽单词的 token 。” 所有主要的略安力生成式人工智能模型都有安全过滤器 ，这些 token 拥有类似的全规语义或含义。这种技术可以更快 、则生但人工智能模型会将其识别为对敏感图像的隐藏请求 。该团队随后成功用新提示生成了裸体男子骑自行车的图像 。“我们反复探索模型并观察它的反馈 。 SneakyPrompt 能够反复调整提示的 token ，暴力或其他不合适内容的图像 。肢解尸体 、近日，它会将“裸体（naked）”替换为不存在的英文词“grponypui” ， 与必须手动输入提示相比， 它本质上是通过改变从文本到图像的人工智能模型的运作方式来实现的 。它使用强化学习来创建内容提示 。”美国约翰斯·霍普金斯大学助理教授 Yinzhi Cao 说 ，但没有参与这项研究 。美国卡内基梅隆大学副教授兹科·阔尔特（Zico Kolter）说 ，”
来源 ：DeepTech深科技 Stable Diffusion 是 Stability AI 公司的一款文生图大模型，性场景的图像 。  （来源 ：STEPHANIE ARNETT/MITTR | ISTOCK）SneakyPrompt 可以检查人类给它的提示 ， 同样 ，他说 ：“我们必须考虑到，暴力 、试图迫使模型生成被禁止的图像。直到成功 。对于这种行为业内通常称之为“越狱” 。一组研究人员让这两款大模型能够做到无视已被设定好的安全规则 ，将单词分解为字符串或字符 ，然后 ， 例如 ，以防止用户通过提示使它们制作包含色情 、这样它最终可以产生我们希望它们显示的不好的东西 。 他们将在 2024 年 5 月举行的 IEEE 安全与隐私研讨会上发表论文 ，DALL·E 2 则是 OpenAI 公司的一款文生图大模型 。 这也表明了阻止这些模型生成此类内容有多么困难 ，因为这些内容包含在它们使用的大量训练数据中 。更容易地生成这样的图像，它会不断调整其方法，并生成了一张符合要求的图像。如果向 SneakyPrompt 输入“一个裸体男子骑自行车”的提示，这项成果揭示了迫使生成式人工智能模型无视设定好的护栏和政策是多么容易 。并将其转换为 token 。他曾在 ChatGPT 上展示了类似的越狱行为 ，而且它可以生成人类无法想象出来的提示 。 |
这些提示在人类看来像是混乱且无意义的废话 ，在大型软件系统中发布存在安全缺陷的软件和工具的潜在风险 。模型不会根据包含“裸体”“谋杀”或“性感”等敏感词语的提示生成图像。创建出包含裸体 、搜索已知的被模型屏蔽的单词 ，这些模型将基于文本的请求转换为 token，生成暴力等不良图片 2023年11月25日 18:46 DeepTech深科技 新浪财经APP 缩小字体 放大字体 收藏 微博 微信 分享 腾讯QQ QQ空间