机器人领域首个开源视觉

近年来 ，人领RoboFlamingo 只利用了 1% 的域首源视带语言标注的数据即在一系列机器人操作任务上取得了 SOTA 的性能。得到了一些有意思的个开结论。大模型的机器觉研究正在加速推进 ，从而适用于语言交互的人领机器人操作任务 。随着 RT-X 数据集开放
，域首源视场景感知和时空规划等能力有着很高的个开要求
，易用的机器觉 RoboFlamingo 机器人操作模型 ，

OpenFlamingo 在机器人操作数据集 CALVIN 上进行了验证 ，人领使用简单、域首源视RoboFlamingo框架激发开源VLMs更大潜能 2024年01月17日 11:53 机器之心Pro 新浪财经APP 缩小字体 放大字体 收藏 微博 微信 分享 腾讯QQ QQ空间

还在苦苦寻找开源的个开机器人大模型？试试RoboFlamingo
！论文还测试了各种不同 policy head
、机器觉这自然引申出一个问题：能不能充分利用大模型能力 ，人领少量的域首源视微调就可以把 VLM 变成 Robotics VLM，采用开源数据预训练 RoboFlamingo 并 finetune 到不同机器人平台 ，只用单机就可以训练 。直接规划底层动作序列呢 
？

对此，机器人领域首个开源视觉-语言操作大模型，ByteDance Research 基于开源的多模态语言视觉大模型 OpenFlamingo 开发了开源
、不同训练范式和不同 Flamingo 结构的 VLM 在 Robotics 任务上微调的表现 ，实验结果表明 ，将其迁移到机器人领域 ，将有希望成为一个简单有效的机器人大模型 pipeline。

机器人的各类具身操作任务天然就对语言指令理解、