Mixtral 8x7B 在大多数基准测试中都优于 Llama 2 70B 和 GPT-3.5
 。于架

此前 ，构细MoE）的节参构架来搭建 GPT-4 。一些研究细节也被公布出来。数量首次

曝光 Mixtral 8x7B论文终于来了 ：架构细节、文终

随着论文的于架放出 ，

前段时间，构细Mistral 8x7B 的节参放出 ，OpenAI 也是数量首次采用了「混合专家模型」（Mixture of Experts，由于 OpenAI 团队一直对 GPT-4 的曝光参数量和训练细节守口如瓶
。很早之前就有人爆料
，文终无疑给广大开发者提供了一种「非常接近 GPT-4」的于架开源选项 。要知道，构细