跳至主要內容
機器人技術 物理AI SO-101 機器人學習

為什麼要打造機械手臂:邁向能適應變化的機器人

Ashar Mirza
邁向能適應變化的機器人:VoicePing機器人研究。人示範放置動作,系統理解目標,機械手臂執行既有技能。
示範任務、理解目標、執行既有技能,是我們研究適應能力的起點。
本文內容

VoicePing的目標是打造能完成實用工作,並隨著工作變化而調整的智慧機器人。 從一項任務取得的知識,應該有助於完成下一項任務,減少每種新用途所需的資料、重新訓練與工程投入。我們從SO-101機械手臂開始,透過感知、規劃與控制研究這個目標。

截至2026年9月18日,我們已取得的證據包括:理解人的示範並在模擬中執行,以及另一次包含兩次放置動作的模擬序列。實機啟用與調校、成功轉移至機械手臂,以及更廣泛的技能學習,都還未經驗證。

機器人應該適應哪些變化?

想像一個在工作檯上把零件分類到托盤的機器人助手。托盤移動後,需要更新座標;要求以不同順序完成熟悉的放置任務時,需要重新組合既有技能;碰到新的形狀或材質時,可能需要不同的抓取方式與更多經驗。難點在於辨認發生了哪種變化,並沿用仍然有效的部分。

三個適應問題:沿用同一技能,定位移動後的方塊與托盤;以新順序組合熟悉的放置動作;形狀或材質改變時,研究新的抓取方式。
場景、順序或物體改變,需要不同類型的適應。

Open X-Embodiment 顯示,匯集不同機器人平台的經驗,有助於改善操作策略。這是我們研究技能重用的動機之一,但自身系統能獲得多少改善,仍需量測。實際部署時,關鍵問題是:每次變化需要多少設定工作、新資料與人工協助。

為什麼從SO-101開始?

SO-101具有開放的機械設計 ,也有LeRobot支援 ,適合用來研究完整的物體操作流程。即使只是在桌面上放置物體,也需要辨識物體、確認位置、接觸物體並檢查結果。我們可以一次只改變一個條件,觀察哪個環節失敗。

實際操作機械手臂,也會揭露單靠模型評估不易發現的限制,例如相機位置、機械行為與實驗紀錄的品質。這讓我們能在選擇更大型的平台之前,累積可重用的軟體與實務判斷能力。未來的硬體應依用途所需的工作範圍、負載、環境與可靠性來選擇。

主要機器人平台帶來的啟發

以下案例涵蓋機器人技術的不同層面,從商業整合到研究與工廠試驗。第一手資料的查核日期是2026年9月24日。這項比較並非市占率或效能排名。

系統整合

Universal Robots

AI Accelerator

可訂購
3D視覺
NVIDIA Jetson
PolyScope X

評估完整工作流程

設定 · 任務成功 · 故障診斷

感測與控制

Franka Research 3

研究用機械手臂

研究用硬體
關節扭矩 感測
1 kHz 底層控制

依研究問題選擇硬體

精密力控研究可能需要另一種機械手臂。

機器人模型

Google DeepMind

Gemini Robotics 2 / ER 2

預覽版模型
ER 2 · 推理 公開預覽
Robotics 2 · 動作 非公開預覽

ER 2使用管道:Google AI Studio / Gemini API

分別測試推理與動作

再於硬體上驗證兩者的整合。

實際部署

Figure在BMW的專案

Figure 03 + Helix 02

生產現場專案
Figure 02 車體工廠試行
Figure 03 物流排序

Helix 02:全身控制,依Figure說明

驗證完整的現場任務

工廠專案有明確的範圍。

我們的起點VoicePing · SO-101
  • 明確目標
  • 重用技能
  • 衡量適應能力

整個系統如何協作?

示範或指令提供目標。感知負責定位相關物體,規劃負責選擇可用技能並安排順序,控制負責產生動作。執行時持續利用新的觀測,並依結果檢查決定繼續、重試,或請人協助。區分這些職責,才能診斷並改善各個元件。

模擬基準系統:將人的示範轉為結構化的放置目標;不支援或不明確的任務會停止。利用RGB與深度資訊定位目前的物體,預先編寫的抓取、抬起、放置技能使用新的觀測。驗證通過後進入下一步,否則停止並記錄失敗。
模擬基準系統將示範中的目標連接到既有技能,並納入觀測與結果檢查。

目前的系統將一段簡短的人類示範影片理解為可支援的抓取放置目標,再呼叫預先編寫的幾何動作技能。這段影片不會訓練出新的操作策略。 這個基準系統讓我們能評估學習所得的感知能力、策略與任務組合。根據即時感知可靠地執行,仍是待解決的工作。

模擬與硬體應相互改進

模擬讓我們能在實機試驗之前重複任務、改變條件、比較方法。硬體則揭露模擬器遺漏的因素:光照與遮擋、相機校正、接觸行為或回應延遲。量測結果應回饋至模擬器、控制器或訓練過程。

模擬透過改變條件測試候選方案。規劃中的實機試驗將校正相機與機械手臂,並量測行為。候選方案送往硬體驗證,量測結果回到模擬。外觀、校正、接觸與時序是不同的轉移差異。
先在模擬中測試候選方案,再透過範圍受限的硬體試驗量測剩餘差異。

領域隨機化 是一種相關方法:改變模擬的視覺外觀,可以降低對單一視覺條件的依賴。原始研究展示了物體定位的轉移效果,並未證明任意機器人行為都能自動轉移。要評估自己的系統,我們需要在完成校正的實機上試驗,並比較預期行為與實際觀測。

如何衡量進展?

任務是否成功,以及機器人是否判斷成功,是兩個獨立的量測項目。在我們的模擬中,物體可能已到達正確位置,視覺確認卻仍失敗。獨立的物理狀態檢查有助於區分這種驗證錯誤與抓取或放置失敗;控制器不會取得評估器使用的真實狀態。

四種範例結果,比較實際放置情況與相機驗證:正確確認的放置、將放置失敗誤判為成功、放置成功但視線受遮擋,以及未獲確認的動作失敗。
分開檢查實際發生的情況,以及機器人認為發生的情況。

我們規劃的比較會固定任務類別與保留供評估使用的配置,每次只調整感知、規劃或動作技能中的一個元件,並保留預先編寫的基準系統作為對照。量測項目包括:

  • 完整任務的成功情況,包含先前放置的物體是否仍維持在正確位置。
  • 重試與人工協助,包含系統無法自行解決的失敗。
  • 適應所需的投入:每種變化需要多少額外示範與調校。

只有看清效益、成本與失敗條件,才能判斷一項改進是否實用。

下一步要做什麼?

下一個里程碑是在實機手臂上執行並量測一項範圍明確的任務,再於改變後的條件下測試。這些結果將協助我們決定,哪些技能、介面與評估方法值得用於更廣泛的任務類別和未來的機器人。

對VoicePing而言,這個小型研究平台支撐著更長遠的目標:建立將機器人智慧轉化為可靠工作的能力。如果你對這些問題有興趣,歡迎了解VoicePing的工作機會 與我們的研究文章 。

分享這篇文章

一起將機器人研究轉化為實用系統

對學習、感知、控制,或串接這些環節的系統有興趣嗎?歡迎了解VoicePing的工作機會與技術研究。

影片
0:00 0:00