9.11和9.9哪个更大?近日不少媒体就此问题,暗面测试了多个大模型,回应和比但是较错多家大模型如字节豆包、GPT4o、暗面月之暗面Kimi、回应和比阶跃星辰跃问、较错百川智能百小应等,暗面都回答错误。回应和比
除此之外,较错之前有用户向大模型提问草莓(strawberry)这个单词有几个r时,暗面多家也出现错误说是回应和比两个。
针对这些问题的较错出现,月之暗面回应称:其实我们人类对大模型的暗面能力探索——无论是大模型能做到什么,还是回应和比大模型做不到什么——都还处于非常早期的阶段。
“我们非常期待用户在使用中能够发现和报告更多的较错边界案例(Corner Case),不管是最近的“9.9和9.11哪个大、13.8和13.11哪个大”,还是之前的’strawberry‘有几个’r‘,这些边界案例的发现,有助于我们增加对大模型能力边界的了解。但要彻底解决问题,又不能仅仅依赖于逐一修复每个案例,原因在于这些情况就像自动驾驶会遇到的场景一样是很难穷尽的,我们更加要做的是不断增强底层基础模型的智能水平,让大模型变得更加强大和全面,能够在各种复杂和极端情况下依然表现出色。”