基础模型+机器人：现在已经走到哪一步了

这些都需要跨领域泛化能力。基础机器而当情况有变时，模型但它们仍旧会受到分布移位（distribution shift）和泛化能力降低的人现 影响。这些模型通常针对各个具体环境或任务构建 ，已经控制 。基础机器就需要重新构建模型  。模型

从实际部署角度看，人现

最后 ，已经这展现出了将不同机器人模块融合成单一统一模型的基础机器可能性 。帮助机器人感知和理解这个世界并制定决策和进行规划。模型

这篇综述论文总结了机器人领域使用的人现基础模型，而这又通常需要进一步的已经数据收集和标注步骤
。这说明经典模型的基础机器迁移性能也有限 。类似地，模型构建有效模型的人现成本要么太高，

也有研究者直接将视觉 / 语言基础模型用于机器人任务 ，

事实上，

虽然在开发通用型机器人系统上正面临诸多挑战，

之前 ，全新的机器人基础模型也正在开发中 
，而机器人系统的其它部分则少有人研究 ，目标是理解基础模型能以怎样的方式帮助解决或缓解机器人领域的核心挑战 。

所谓的「基础模型（foundation model）」其实就是大型预训练模型（LPTM）。除了将现有的视觉和 / 或语言基础模型用于机器人领域 ，但自然语言处理（NLP）和计算机视觉（CV）领域近来却进展迅猛
，模型往往是不可复现的
，尽管基于深度（强化）学习的运动规划和控制方法有助于缓解这些问题 ，介绍了基础模型在机器人领域的应用和发展情况 。近来这些模型也已经在机器人领域得到应用，用于高保真图像生成的扩散模型 、能适应不同的任务甚至具身方案。也有研究团队正针对机器人任务开发基础模型，而如果通过众包方式来标注大型数据集，

此外
，任务层面的规划
、基础模型+机器人 ：现在已经走到哪一步了 2024年01月01日 12:36 机器之心Pro 新浪财经APP 缩小字体 放大字体 收藏 微博 微信 分享 腾讯QQ QQ空间

机器人是一种拥有无尽可能性的技术，此外大多数研究使用的都是基于 Transformer 的架构，

开发能自主适应不同环境的机器人是人类一直以来的一个梦想 ，但机器人领域仍有许多挑战难以解决。利用传统深度学习方法的机器人感知系统通常需要大量有标注数据来训练监督学习模型 ，比如针对世界动态的基础模型或可以执行符号推理的基础模型。这些训练得到的模型通常还需要精心设计的领域适应技术 ，经典的机器人规划和控制方法通常需要仔细地建模世界 、要么完全无法办到。

尽管视觉和语言基础模型在机器人领域前景可期，由于经典监督学习方法的泛化能力有限 ，其中包括用于 NLP 的大型语言模型（LLM）
、尤其是当搭配了智能技术时。任务规划甚至运动控制能力 。为了将这些模型部署到具体的场景或任务 ，用于零样本 / 少样本生成等 CV 任务的能力强大的视觉模型和视觉语言模型 。并有望赋予机器人系统开放世界感知
、成本又非常高。近日，无法泛化到不同的机器人形态（多具身泛化）或难以准确理解环境中的哪些行为是可行的（或可接受的） 。但这却是一条漫长且充满挑战的道路。近段时间创造了许多变革性应用的大模型有望成为机器人的智慧大脑 ，对于很多用例 ，它们具备强大的视觉和语言能力  。智能体自身的动态和 / 或其它智能体的动态。这些机器人基础模型展现出了强大的泛化能力 ，比如用于操控的动作模型或用于导航的运动规划模型。我们也需要更多大型真实世界数据以及支持多样化机器人任务的高保真度模拟器 。CMU 的 Yonatan Bisk 和 Google DeepMind 的夏斐（Fei Xia）领导的一个联合团队发布了一篇综述报告 ，关注的重点是对物体和场景的语义感知
、