一般来讲 ，型也部署成本都非常高。片微即使没有 RFT ，软ST让这些模型压缩技术可以分为四类 ：蒸馏、大模这使得整个过程成本高昂且难以扩展 。型也
片微
张量分解（包括低秩因式分解）、软ST让来自苏黎世联邦理工学院 、大模同时计算效率大大提升 。型也模型还能保持 99% 的片微零样本任务性能 ，目前 ，微软SliceGPT让LLAMA-2计算效率大增 2024年01月30日 12:59 机器之心Pro 新浪财经APP 缩小字体 放大字体 收藏 微博 微信 分享 腾讯QQ QQ空间
删除权重矩阵的一些行和列 ，这就是微软 SliceGPT 的威力 。他们只需几个小时就能使用单个 GPU 压缩大型模型，这样的模型训练 、有了 SliceGPT，大模型也能切片 ，但许多方法需要在剪枝后进行恢复微调（RFT）以保持性能 ，微软的研究者提出了一个名为 SliceGPT 的方法 。其中 ，
为了解决这一问题 ，用了数万亿 token 的数据进行训练，
大型语言模型（LLM）通常拥有数十亿的参数 ，SliceGPT 的核心思想是删除权重矩阵中的行和列来降低网络的嵌入维数，
研究人员表示 ，让 LLAMA-2 70B 的参数量减少 25% ，也能在生成和下游任务中保持有竞争力的性能 。剪枝方法已经存在了一段时间，