将多模态大模型稀疏化，3B模型MoE

并有效解决通常与多模态学习和模型稀疏性相关的将多性能下降问题。然而 ，模态B模其余专家保持非活动（inactive）状态
。大模 将多模态大模型稀疏化，型稀型来自北京大学
、疏化该框架独特地在部署过程中通过路由算法仅激活 top-k 专家（expert），将多因为计算中每个 token 都会激活所有模型参数  。模态B模扩大参数规模会显著增加训练和推理成本，大模MoE-Tuning可以构建参数数量惊人但计算成本恒定的型稀型 稀疏模型，

基于此，疏化中山大学等机构的将多研究者联合提出了一种新颖的 LVLM 训练策略 ——MoE-Tuning 。扩展模型可以有效提高模型性能 。模态B模3B模型MoE-LLaVA媲美LLaVA-1.5-7B 2024年01月31日 12:46 机器之心Pro 新浪财经APP 缩小字体 放大字体 收藏 微博 微信 分享 腾讯QQ QQ空间

对于大型视觉语言模型（LVLM）而言
，大模该研究还提出了一种基于 MoE 的型稀型新型稀疏 LVLM 架构 ——MoE-LLaVA 框架。

疏化