浪潮信息发布 “源2.0
作者:综合 来源:知识 浏览: 【大中小】 发布时间:2024-05-29 04:27:29评论数:
浪潮信息发布 “源2.0-M32” 开源大模型 ,浪潮
信息
大幅提升模算效率 2024年05月28日 19:11 财经网 新浪财经APP 缩小字体 放大字体 收藏 微博 微信 分享 腾讯QQ QQ空间
5月28日,发布构建包含32个专家(Expert)的浪潮混合专家模型(MoE) ,“源2.0-M32”在基于“源2.0”系列大模型已有工作基础上 ,信息并大幅提升了模型算力效率 ,发布模型运行时激活参数为37亿,浪潮浪潮信息发布“源2.0-M32”开源大模型。信息在业界主流基准评测中性能全面对标700亿参数的发布LLaMA3开源大模型。创新性地提出和采用了“基于注意力机制的浪潮门控网络”技术,