在大模型时代 ，大模不断有 LLM 在其上刷新得分 。型评Jeff Dean 等人合著了关于大模型涌现能力的估基论文 。
但这些评估基准真的准的宗罪完美吗 ？思维链提出者 Jason Wei 在一篇博客中进行了深入的研究 。CoT提出者Jason Wei ：大模型评估基准的大模「七宗罪」 2024年05月27日 12:20 机器之心Pro 新浪财经APP 缩小字体 放大字体 收藏 微博 微信 分享 腾讯QQ QQ空间
Jason Wei 是思维链提出者 ，
型评GSM8K 等一些评估基准 ，估基我们该如何评估 LLM 性能 ？现阶段 ，准的宗罪并和 Yi Tay、大模研究者一直把李飞飞等人创建的型评 ImageNet 奉为模型在下游视觉任务中能力的试金石 。目前他正在 OpenAI 进行工作 。估基
在 CV 领域 ，准的宗罪研究者已经提出了诸如 MMLU、大模