跳转到主要内容
机器人技术 物理AI SO-101 机器人学习

为什么要打造机械臂:迈向可适应变化的机器人

Ashar Mirza
迈向可适应变化的机器人:VoicePing机器人研究。人演示放置动作,系统理解目标,机械臂执行已有技能。
演示任务、理解目标、执行已有技能,这是我们研究适应能力的起点。
本文内容

VoicePing的目标是打造能完成实用工作、并能随着工作变化而调整的智能机器人。 从一项任务中获得的知识,应当有助于完成下一项任务,从而减少每种新用途所需的数据、重新训练和工程投入。我们从SO-101机械臂入手,围绕感知、规划和控制研究这一目标。

截至2026年9月18日,我们已有的证据包括:理解人的演示并在仿真中执行,以及另一次包含两次放置动作的仿真序列。实机调试、向机械臂成功迁移,以及更广泛的技能学习,仍未得到验证。

机器人应该适应哪些变化?

设想一个在工作台上将零件分拣到托盘中的机器人助手。托盘移动后,需要更新坐标;要求以不同顺序完成熟悉的放置任务时,需要重新组合已有技能;遇到新的形状或材料时,可能需要不同的抓取方式和更多经验。难点在于识别发生了哪种变化,并复用仍然有效的部分。

三个适应问题:复用同一技能,定位移动后的方块和托盘;按新顺序组合熟悉的放置动作;形状或材料变化时,研究新的抓取方式。
场景、顺序或物体发生变化,需要不同类型的适应。

Open X-Embodiment 表明,汇集不同机器人平台的经验可以改进操作策略。这为我们的复用研究提供了动机,但自身系统能获得多大收益,仍需测量。对于实际部署,关键问题是:每次变化需要多少设置工作、新数据和人工帮助。

为什么从SO-101开始?

SO-101拥有开放的机械设计 ,并获得LeRobot支持 ,是研究完整操作闭环的易用平台。即使只是在桌面上放置物体,也需要识别物体、确定位置、发生接触并检查结果。我们可以每次只改变一个条件,观察哪里出现失败。

实际操作机械臂还会暴露仅靠模型评估难以发现的限制,例如相机位置、机械行为和实验记录的质量。这有助于我们在选择更大型的平台之前,积累可复用的软件和实践判断能力。未来的硬件应根据用途所需的工作范围、负载、环境和可靠性来选择。

主要机器人平台带来的启发

以下案例涉及机器人技术的不同层面,从商业集成到研究和工厂试验。一手资料核查于2026年9月24日完成。这项比较并非市场份额或性能排名。

系统集成

Universal Robots

AI Accelerator

可订购
3D视觉
NVIDIA Jetson
PolyScope X

评估完整工作流程

设置 · 任务成功 · 故障诊断

传感与控制

Franka Research 3

研究用机械臂

研究用硬件
关节扭矩 传感
1 kHz 底层控制

根据研究问题选择硬件

精密力控研究可能需要另一种机械臂。

机器人模型

Google DeepMind

Gemini Robotics 2 / ER 2

预览版模型
ER 2 · 推理 公开预览
Robotics 2 · 动作 非公开预览

ER 2访问方式:Google AI Studio / Gemini API

分别测试推理与动作

再在硬件上验证二者的集成。

实际部署

Figure在BMW的项目

Figure 03 + Helix 02

生产现场项目
Figure 02 车身车间试点
Figure 03 物流排序

Helix 02:全身控制,据Figure介绍

验证完整的现场任务

工厂项目有明确的范围。

我们的起点VoicePing · SO-101
  • 明确目标
  • 复用技能
  • 衡量适应能力

整个系统如何协作?

演示或指令提供目标。感知负责定位相关物体,规划负责选择可用技能并安排顺序,控制负责产生运动。执行过程中不断利用新的观测,并根据结果检查决定继续、重试还是寻求帮助。分清这些职责,才能诊断和改进各个组件。

仿真基准系统:将人的演示转化为结构化的放置目标;不支持或不明确的任务会停止。利用RGB和深度信息定位当前物体,预先编程的抓取、抬起、放置技能使用新的观测。验证通过后进入下一步,否则停止并记录失败。
仿真基准系统将演示中的目标连接到已有技能,并加入观测和结果检查。

当前系统将一段简短的人类演示视频理解为受支持的抓取放置目标,然后调用预先编程的几何运动技能。这段视频不会训练出新的操作策略。 这一基准系统为评估学习得到的感知能力、策略和任务组合提供了参照。基于实时感知可靠地执行,仍是待解决的问题。

仿真与硬件应相互改进

仿真让我们能在实机试验前重复任务、改变条件、比较方法。硬件则揭示仿真器遗漏的因素:光照与遮挡、相机校准、接触行为或响应延迟。测量结果应反馈给仿真器、控制器或训练过程。

仿真通过改变条件测试候选方案。计划中的实机试验将校准相机和机械臂,并测量行为。候选方案送往硬件验证,测量结果返回仿真。外观、校准、接触和时序是不同的迁移差异。
先在仿真中测试候选方案,再通过范围受限的硬件试验测量剩余差异。

域随机化 是一种相关方法:改变仿真的视觉外观,可以减少对单一视觉条件的依赖。原始研究展示了物体定位的迁移效果,并未证明任意机器人行为都能自动迁移。要评估我们自己的系统,需要在经过校准的实机上试验,并比较预期行为与实际观测。

如何衡量进展?

任务是否成功,与机器人是否判断成功,是两个独立的测量项。在我们的仿真中,物体可能已经到达正确位置,但视觉确认仍然失败。独立的物理状态检查有助于区分这种验证错误与抓取或放置失败;控制器不会获得评估器所用的真实状态。

四种示例结果,对比实际放置情况与相机验证:正确确认的放置、将放置失败误判为成功、放置成功但视线被遮挡,以及未获确认的动作失败。
将实际发生的情况与机器人认为发生的情况分开检查。

我们计划保持任务类别和留出的评估布局不变,每次只调整感知、规划或运动技能中的一个组件,并保留预先编程的基准系统作为对照。测量内容包括:

  • 完整任务的成功情况,包括先前放置的物体是否仍处于正确位置。
  • 重试和人工协助,包括系统无法自行解决的失败。
  • 适应所需的投入:每种变化需要多少额外演示和调优。

只有看清收益、成本和失败条件,才能判断一项改进是否有用。

下一步做什么?

下一阶段的目标是在实机机械臂上执行并测量一项范围明确的任务,然后在变化后的条件下测试。结果将帮助我们决定,哪些技能、接口和评估方法值得用于更广泛的任务类别和未来的机器人。

对VoicePing而言,这个小型研究平台支撑着更长远的目标:建立将机器人智能转化为可靠工作的能力。如果你对这些问题感兴趣,欢迎了解VoicePing的工作机会 和我们的研究文章 。

分享这篇文章

一起将机器人研究转化为实用系统

对学习、感知、控制或连接这些环节的系统感兴趣?了解VoicePing的工作机会与技术研究。

视频
0:00 0:00