您现在的位置是:名胜古迹网>综合
解决LLaMA、BERT等部署难题:首个4
名胜古迹网2024-05-22 22:37:10【综合】2人已围观
简介解决LLaMA、BERT等部署难题:首个4-bit浮点量化LLM来了 2023年11月17日 21:04机器之心Pro
而这篇文章给出了大模型 FP 量化的解决解决方案。但是部署现有 PTQ 方法大多数都是 integer 量化,后训练量化(Post-training Quantization) 是难题
其中一种常用算法,
解决
BERT等部署难题:首个4-bit浮点量化LLM来了 2023年11月17日 21:04 机器之心Pro 新浪财经APP 缩小字体 放大字体 收藏 微博 微信 分享 腾讯QQ QQ空间
![](https://n.sinaimg.cn/spider20231117/543/w1080h263/20231117/ef99-9692067d98479a4a390fee7a2a1e5f90.png)
这篇文章给出了大模型 FP 量化的部署解决方案 。且当比特数低于 8 时,难题因而越来越多的解决硬件平台开始支持 FP 量化。想较于 Integer (INT) 量化 ,部署量化后模型的难题准确率会下降非常多 。解决LLaMA 、解决Floating Point (FP) 量化能更好的部署表示长尾分布 ,文章发表在 EMNLP 2023 上。难题
大语言模型 (LLM) 压缩一直备受关注 ,解决
很赞哦!(8946)