内容摘要：解决LLaMA、BERT等部署难题：首个4-bit浮点量化LLM来了 2023年11月17日 21:04机器之心Pro

而这篇文章给出了大模型 FP 量化的解决解决方案  。想较于 Integer (INT) 量化 ，部署但是难题 现有 PTQ 方法大多数都是 integer 量化
，文章发表在 EMNLP 2023 上。解决BERT等部署难题 ：首个4-bit浮点量化LLM来了 2023年11月17日 21:04 机器之心Pro 新浪财经APP 缩小字体 放大字体 收藏 微博 微信 分享 腾讯QQ QQ空间

这篇文章给出了大模型 FP 量化的部署解决方案。后训练量化（Post-training Quantization) 是难题其中一种常用算法  ，量化后模型的解决准确率会下降非常多 。

大语言模型 (LLM) 压缩一直备受关注 ，部署Floating Point (FP) 量化能更好的难题表示长尾分布，且当比特数低于 8 时 ，解决

部署 因而越来越多的难题硬件平台开始支持 FP 量化。解决LLaMA 、解决