为AI加速而生 英特尔CPU能跑200亿参数大模型
在处理AI制药领域最重要的跑亿算法——AlphaFold2这类大型模型上,CPU同样也“加入群聊” 。更了解也更容易获取和使用CPU,参数那么使用服务器CPU混合精度实现的推理吞吐量,就是他们能够更快和以更低成本解决自身需求的方法了 。
很多人认为,大模真正落地的AI应用往往与企业的核心业务紧密关联,在要求推理性能的同时,也需要关联到它的核心数据,因此对数据安全和隐私的要求也很高,因此也更偏向本地化部署 。
再比如亚信科技就在自家OCR-AIRPA方案中采用了CPU作为硬件平台,速而生英实现了从FP32到INT8/BF16的量化,从而在可接受的精度损失下,增加吞吐量并加速推理。
为什么这些AI任务的跑亿推理能用CPU,而不是只考虑由GPU或AI加速器来处理?
这里历来存在很多争论 。
在人工智能的参数应用领域,出现了一些让人始料未及的趋势:很多传统企业开始选择在CPU平台上落地和优化AI应用 。这就是大模在数据中心中,有70%的推理运行在英特尔® 至强® 可扩展处理器上的原因 。
上述这些CPU,速而生英都有个共同的名字——至强,即英特尔®️ 至强®️ 可扩展处理器 。从去年开始,跑亿CPU便使AlphaFold2端到端的通量提升到了原来的23.11倍;而现如今,CPU让这个数值再次提升3.02倍 。英特尔表示,参数一款为AI加速而生,而且表现更强的处理器诞生了。将人工成本降至原来的大模1/5到1/9,效率还提升了约5-10倍 。为AI加速而生 英特尔CPU能跑200亿参数大模型 2023年12月22日 11:53 飞象网 新浪财经APP 缩小字体 放大字体 收藏 微博 微信 分享 腾讯QQ QQ空间
(导语)实用化 AI 算力又升上了一个新台阶 。速而生英
例如制造领域在高度精细且较为耗时的跑亿瑕疵检测环节,就导入了CPU及其他产品组合,来构建横跨“云-边-端”的AI 缺陷检测方案,代替传统的人工瑕疵检测方式 。
而结合这个需求,参数再考虑到真正用AI的传统行业更熟悉 、
面对越来越多传统AI应用和大模型在CPU上的落地优化,“用CPU加速AI”这条道路被不断验证 。
最近,英特尔的服务器CPU完成了又一次进化 。
