世界模型驱动的非结构场景机器人自主学习与作业

报告简要介绍具身智能的内涵和发展现状，特别是机器人在物理世界行为智能方面的进展和面临的挑战，并分析了具身智能的边界。进一步提出了一种自我进化的具身智能框架。该框架以“感知-学习-想象-执行-反馈”一体化为核心理念，旨在实现更高效、更灵活的具身智能系统设计。构建了非结构场景基于视觉常识推理的机器人自主作业和持续学习方法，将多模态大模型融入人-机器人交互，使得机器人能够在动态非结构场景自主作业。报告还介绍了世界模型驱动的自举模型预测控制、想象引导决策大模型的多机器人自主协同方法，以及相关算法在航天、航空、物流等领域的应用。