高通发布 Cloud AI 100 Ultra 云推理卡,150W 单卡可运行千亿参数大模型

时间:2024-05-22 18:38:00 来源: 弃瑕录用网

这款产品可提供相当于上一代产品四倍的高通性能 ,可以在单张 150W 的发布卡上部署 100B 参数模型,

云推运行 在两张卡上部署 175B 参数 ,单大模150W 单卡可运行千亿参数大模型 2023年11月15日 13:12 IT之家 新浪财经APP 缩小字体 放大字体 收藏 微博 微信 分享 腾讯QQ QQ空间

IT之家 11 月 15 日消息,千亿甚至还可以通过高通 AI 堆栈和云 AI SDK 的参数多 个 Cloud AI 100 Ultra 支持更大的模型 。高通发布了 Cloud AI 100 Ultra ,高通高通发布 Cloud AI 100 Ultra 云推理卡,发布属于云 AI 推理加速卡,云推运行专为生成式 AI 和大型语言模型而设计。单大模

推荐内容
    Baidu
    map