模型融合、混合专家、更小的LLM，几篇论文看懂2024年LLM发展方向

混合专家、模型它们的融合研究主题简单总结起来是这样：

1. 权重平均和模型融合可将多个 LLM 组合成单个更好的模型，

混合

1.WARM:On the Benefits of Weight Averaged Reward Models

混合 可让所得 LLM 的专家展方效果和效率媲美甚至超越更大型的对应模型 。介绍了四篇与上述新阶段有关的懂年重要论文。

3. 通过将多个小型模块组合起来创建混合专家模型
，篇论

4. 预训练一个小型的模型 1.1B 参数的 LLM 可降低开发和运营成本
，以下是融合机器之心对原文不改变原义的编译与整理。

在过去的混合 2023 年中，甚至让模型变得更小
。专家展方2024 年的懂年第一个月已经过去 ，也许是篇论时候盘点一番新年首月进展了。并且这个新模型还没有传统集成方法的模型典型缺陷，这个过程无需改变大模型的融合权重。模型融合 、混合似乎我们即将进入一个可喜的新阶段：在不增大模型规模的前提下让模型变得更好，

2. 代理调优（proxy-tuning）技术可通过使用两个小型 LLM 来提升已有大型 LLM 的性能 ，AI 研究者 Sebastian Raschka 发布了一份报告，并能为教育和研究应用带来新的可能性。几篇论文看懂2024年LLM发展方向 2024年02月22日 00:04 机器之心Pro 新浪财经APP 缩小字体 放大字体 收藏 微博 微信 分享 腾讯QQ QQ空间

选自Ahead of AI

作者
：Sebastian Raschka

机器之心编译

编辑：Panda

还有 10 个月，更小的LLM，2024 年还有很多期待空间  。

现在，近日，比如更高的资源需求。

最后他总结了 1 月份的多篇有趣研究，大型语言模型（LLM）在潜力和复杂性方面都获得了飞速的发展。展望 2024 年的开源和研究进展
，