当前位置: 当前位置: 首页> 娱乐> 浪潮信息发布 “源2.0正文

浪潮信息发布 “源2.0

作者:综合 来源:知识 浏览: 【】 发布时间:2024-05-29 04:27:29评论数:
浪潮信息发布 “源2.0-M32” 开源大模型 ,浪潮

信息 大幅提升模算效率 2024年05月28日 19:11 财经网 新浪财经APP 缩小字体 放大字体 收藏 微博 微信 分享 腾讯QQ QQ空间

5月28日,发布构建包含32个专家(Expert)的浪潮混合专家模型(MoE) ,“源2.0-M32”在基于“源2.0”系列大模型已有工作基础上  ,信息并大幅提升了模型算力效率 ,发布模型运行时激活参数为37亿 ,浪潮浪潮信息发布“源2.0-M32”开源大模型。信息在业界主流基准评测中性能全面对标700亿参数的发布LLaMA3开源大模型 。创新性地提出和采用了“基于注意力机制的浪潮门控网络”技术 ,

Baidu
map