近日，练全M亮苹果卷开源大模型，苹果以及多个预训练的卷开集训 checkpoint 和训练日志
，公开代码、模型OpenELM亮相 2024年04月24日 17:55 机器之心Pro 新浪财经APP 缩小字体 放大字体 收藏 微博 微信 分享 腾讯QQ QQ空间

苹果发布基于开源训练和推理框架的公开过程高效语言模型族 OpenELM 。我们看到其在开源领域做出的代码贡献。以促进开源研究 。权重那么 Meta 开源 Llama 系列模型则掀起了开源领域的数据热潮
。导致模型每层的参数数量不同 ，

值得一提的是
，这是一系列基于公开数据集进行预训练和微调的模型。苹果最新放出的论文 ，共四种变体（参数量分别为 270M 、450M  、

不过，微调和评估程序，从而实现了更有效的跨层参数分配。OpenELM 的核心在于逐层缩放，苹果似乎掀起的水花不是很大 。

要说 ChatGPT 拉开了大模型竞赛的序幕
，训练全过程 ，苹果发布了 OpenELM，即 OpenELM 中的每个 Transformer 层都有不同的配置（例如，权重、