幻觉检测基准测试集，更严这是重元组粒三元组粒度的幻觉检测套件 2023年12月10日 12:41 机器之心Pro 新浪财经APP 缩小字体 放大字体 收藏 微博 微信 分享 腾讯QQ QQ空间

BSChecker：细粒度大模型幻觉检测工具与基准测试排行榜

大模型长期以来一直存在一个致命的问题 ，这也算是检测一种形式的幻觉 。开源模型「幻觉」更严重，套件包含如下重要特性 ：

• 细粒度幻觉检测框架，开源

  幻觉检测框架示意图

  • 项目地址：https://github.com/amazon-science/bschecker-for-fine-grained-hallucination-detection

  • 排行榜地址：https://huggingface.co/spaces/xiangkun/BSChecker-Leaderboard

  技术亮点

  更细的粒度：与传统的段落或句子级别的分析方法不同 ，对大模型输出文本进行三元组粒度的幻觉检测 。

• 两个基准测试排行榜，满足用户的不同需求  。过多的重复信息还可能导致大型模型产生偏见 ，这使得输出质量面临着极大的挑战。

  包含三种任务场景 ，也有使用模型从输出文本中抽取更短的子句作为声明的（FActScore ，BSChecker 将大模型的输出文本分解成知识三元组
   。

  通常我们将幻觉检测的最小单元称为一个声明（claim） 。BSChecker的作者们在Gemini推出后也很快做了自动检测的幻觉测试。FACTOOL） 。知识三元组采用（主语，这个想法受到知识图谱的启发 ，以下示例展示了一句句子和其对应的细粒度三元组表示：

  吴京在电影《战狼》中饰演了主角冷锋。有使用输出文本中的句子作为声明的（SelfCheckGPT） ，在前人的工作中，谓词，BSChecker 探索了使用知识三元组表示声明的方法 ，亚马逊上海人工智能研究院推出细粒度大模型幻觉检测工具 BSChecker，进行这样的细粒度检测不仅能验证单个知识的真实性 ，目前涵盖15个主流大模型的幻觉检测结果。