
本文内容
VoicePing的目标是打造能完成实用工作、并能随着工作变化而调整的智能机器人。 从一项任务中获得的知识,应当有助于完成下一项任务,从而减少每种新用途所需的数据、重新训练和工程投入。我们从SO-101机械臂入手,围绕感知、规划和控制研究这一目标。
截至2026年9月18日,我们已有的证据包括:理解人的演示并在仿真中执行,以及另一次包含两次放置动作的仿真序列。实机调试、向机械臂成功迁移,以及更广泛的技能学习,仍未得到验证。
机器人应该适应哪些变化?
设想一个在工作台上将零件分拣到托盘中的机器人助手。托盘移动后,需要更新坐标;要求以不同顺序完成熟悉的放置任务时,需要重新组合已有技能;遇到新的形状或材料时,可能需要不同的抓取方式和更多经验。难点在于识别发生了哪种变化,并复用仍然有效的部分。

Open X-Embodiment 表明,汇集不同机器人平台的经验可以改进操作策略。这为我们的复用研究提供了动机,但自身系统能获得多大收益,仍需测量。对于实际部署,关键问题是:每次变化需要多少设置工作、新数据和人工帮助。
为什么从SO-101开始?
SO-101拥有开放的机械设计 ,并获得LeRobot支持 ,是研究完整操作闭环的易用平台。即使只是在桌面上放置物体,也需要识别物体、确定位置、发生接触并检查结果。我们可以每次只改变一个条件,观察哪里出现失败。
实际操作机械臂还会暴露仅靠模型评估难以发现的限制,例如相机位置、机械行为和实验记录的质量。这有助于我们在选择更大型的平台之前,积累可复用的软件和实践判断能力。未来的硬件应根据用途所需的工作范围、负载、环境和可靠性来选择。
主要机器人平台带来的启发
以下案例涉及机器人技术的不同层面,从商业集成到研究和工厂试验。一手资料核查于2026年9月24日完成。这项比较并非市场份额或性能排名。
系统集成
Universal Robots
AI Accelerator
可订购评估完整工作流程
设置 · 任务成功 · 故障诊断
传感与控制
Franka Research 3
研究用机械臂
研究用硬件根据研究问题选择硬件
精密力控研究可能需要另一种机械臂。
机器人模型
Google DeepMind
Gemini Robotics 2 / ER 2
预览版模型ER 2访问方式:Google AI Studio / Gemini API
分别测试推理与动作
再在硬件上验证二者的集成。
实际部署
Figure在BMW的项目
Figure 03 + Helix 02
生产现场项目Helix 02:全身控制,据Figure介绍
验证完整的现场任务
工厂项目有明确的范围。
- 明确目标
- 复用技能
- 衡量适应能力
整个系统如何协作?
演示或指令提供目标。感知负责定位相关物体,规划负责选择可用技能并安排顺序,控制负责产生运动。执行过程中不断利用新的观测,并根据结果检查决定继续、重试还是寻求帮助。分清这些职责,才能诊断和改进各个组件。

当前系统将一段简短的人类演示视频理解为受支持的抓取放置目标,然后调用预先编程的几何运动技能。这段视频不会训练出新的操作策略。 这一基准系统为评估学习得到的感知能力、策略和任务组合提供了参照。基于实时感知可靠地执行,仍是待解决的问题。
仿真与硬件应相互改进
仿真让我们能在实机试验前重复任务、改变条件、比较方法。硬件则揭示仿真器遗漏的因素:光照与遮挡、相机校准、接触行为或响应延迟。测量结果应反馈给仿真器、控制器或训练过程。

域随机化 是一种相关方法:改变仿真的视觉外观,可以减少对单一视觉条件的依赖。原始研究展示了物体定位的迁移效果,并未证明任意机器人行为都能自动迁移。要评估我们自己的系统,需要在经过校准的实机上试验,并比较预期行为与实际观测。
如何衡量进展?
任务是否成功,与机器人是否判断成功,是两个独立的测量项。在我们的仿真中,物体可能已经到达正确位置,但视觉确认仍然失败。独立的物理状态检查有助于区分这种验证错误与抓取或放置失败;控制器不会获得评估器所用的真实状态。

我们计划保持任务类别和留出的评估布局不变,每次只调整感知、规划或运动技能中的一个组件,并保留预先编程的基准系统作为对照。测量内容包括:
- 完整任务的成功情况,包括先前放置的物体是否仍处于正确位置。
- 重试和人工协助,包括系统无法自行解决的失败。
- 适应所需的投入:每种变化需要多少额外演示和调优。
只有看清收益、成本和失败条件,才能判断一项改进是否有用。
下一步做什么?
下一阶段的目标是在实机机械臂上执行并测量一项范围明确的任务,然后在变化后的条件下测试。结果将帮助我们决定,哪些技能、接口和评估方法值得用于更广泛的任务类别和未来的机器人。
对VoicePing而言,这个小型研究平台支撑着更长远的目标:建立将机器人智能转化为可靠工作的能力。如果你对这些问题感兴趣,欢迎了解VoicePing的工作机会 和我们的研究文章 。


