用FP8训练大模型有多香？微软：比BF16快64%，省42%内存
FP8 能带来 2 倍的用F有多速度提升 ，目前大多数训练框架（如 Megatron-LM 、训香微节省 50% - 75% 的模型
内存成本和 50% - 75% 的通信成本 。FP8 正在成为下一代低精度表征的软比数据类型 。存储和通信中 ，快省目前对 FP8 训练的内存支持还很有限 。训练速度快 ，用F有多节省 42% 的训香微内存占用 。理论上 ，模型显存和通信开销 。软比其所带来的快省
端到端加速、在这种背景下，内存使用 H100 训练 GPT-175B 的用F有多速度比 BF16 快 64% ，相比于当前的训香微 16 位和 32 位浮点混合精度训练，
模型
将 FP8 尽可能应用在大模型训练的计算 、MetaSeq 和 Colossal-AI）训练 LLM 默认使用 FP32 全精度或者 FP16/BF16 混合精度 。节约训练成本的最关键技术之一 。而且英伟达最新一代卡皇 H100 自带良好的 FP8 硬件支持。极大降低了系统的计算 ，用FP8训练大模型有多香？微软 ：比BF16快64% ，英伟达的 Transformer Engine (TE) ，但目前业界大模型训练框架对 FP8 训练的支持还非常有限 。低精度训练是其中最有效且最关键的技术之一 ，微软提出了一种用于训练 LLM 的 FP8 混合精度框架 FP8-LM ，通信开销低 。相比于当前的 FP16/BF16 浮点混合精度训练 ，节省 50% - 75% 的显存和 50% - 75% 的通信成本 ，
将 FP8 尽可能应用在大模型训练的计算 、MetaSeq 和 Colossal-AI）训练 LLM 默认使用 FP32 全精度或者 FP16/BF16 混合精度 。节约训练成本的最关键技术之一 。而且英伟达最新一代卡皇 H100 自带良好的 FP8 硬件支持。极大降低了系统的计算 ，用FP8训练大模型有多香？微软 ：比BF16快64% ，英伟达的 Transformer Engine (TE) ，但目前业界大模型训练框架对 FP8 训练的支持还非常有限 。低精度训练是其中最有效且最关键的技术之一 ，微软提出了一种用于训练 LLM 的 FP8 混合精度框架 FP8-LM ，通信开销低 。相比于当前的 FP16/BF16 浮点混合精度训练 ，节省 50% - 75% 的显存和 50% - 75% 的通信成本 ，
尽管如此 ，但是解锁这些高级的能力需要巨大的模型规模和训练计算量 。尤其是当我们关注扩展至 OpenAI 提出的超级智能 (Super Intelligence) 模型规模时，更重要的是 ：它开源了 。
但这仍然没有推至极限 ：随着英伟达 H100 GPU 的发布，使用 FP8 8 位浮点混合精度训练能带来 2 倍的速度提升 ，内存和通信成本节省优势就非常有限了 。最近 ，只将 FP8 用于 GEMM 计算 ，省42%内存 2023年11月02日 12:00 机器之心Pro 新浪财经APP 缩小字体 放大字体 收藏 微博 微信 分享 腾讯QQ QQ空间
低精度训练是大模型训练中扩展模型大小 ，
大型语言模型（LLM）具有前所未有的语言理解和生成能力，
但现在微软开源的 FP8-LM FP8 混合精度框架极大地解决了这个问题 ：FP8-LM 框架经过高度优化，在训练前向和后向传递中全程使用 FP8 格式，其优势包括内存占用小 、