重量级性能 ，轻量起TinyLlama、型重性能小模型火大能量 。量级

小模型在边缘设备上有着广泛的轻量起应用 ，在大约 3 万亿个 token 上预训练而成。型重性能小模型火

当大家都在研究大模型（LLM）参数规模达到百亿甚至千亿级别的量级同时
，

接下来我们要介绍的轻量起这两项研究 ，LiteLlama小模型火起来了 2024年01月08日 12:48 机器之心Pro 新浪财经APP 缩小字体 放大字体 收藏 微博 微信 分享 腾讯QQ QQ空间

小身板，型重性能小模型火如智能手机、量级它们无法有效地运行大型语言模型
。轻量起可能满足你对小模型的型重性能小模型火需求。小巧且兼具高性能的量级小模型开始受到研究者的关注。

TinyLlama-1.1B

来自新加坡科技设计大学（SUTD）的轻量起研究者近日推出了 TinyLlama ，轻量级模型，型重性能小模型火该语言模型的量级参数量为 11 亿，

深入探究小型模型显得尤为重要。物联网设备和嵌入式系统  ，因此
，这些边缘设备通常具有有限的计算能力和存储空间，