
本文內容
VoicePing的目標是打造能完成實用工作,並隨著工作變化而調整的智慧機器人。 從一項任務取得的知識,應該有助於完成下一項任務,減少每種新用途所需的資料、重新訓練與工程投入。我們從SO-101機械手臂開始,透過感知、規劃與控制研究這個目標。
截至2026年9月18日,我們已取得的證據包括:理解人的示範並在模擬中執行,以及另一次包含兩次放置動作的模擬序列。實機啟用與調校、成功轉移至機械手臂,以及更廣泛的技能學習,都還未經驗證。
機器人應該適應哪些變化?
想像一個在工作檯上把零件分類到托盤的機器人助手。托盤移動後,需要更新座標;要求以不同順序完成熟悉的放置任務時,需要重新組合既有技能;碰到新的形狀或材質時,可能需要不同的抓取方式與更多經驗。難點在於辨認發生了哪種變化,並沿用仍然有效的部分。

Open X-Embodiment 顯示,匯集不同機器人平台的經驗,有助於改善操作策略。這是我們研究技能重用的動機之一,但自身系統能獲得多少改善,仍需量測。實際部署時,關鍵問題是:每次變化需要多少設定工作、新資料與人工協助。
為什麼從SO-101開始?
SO-101具有開放的機械設計 ,也有LeRobot支援 ,適合用來研究完整的物體操作流程。即使只是在桌面上放置物體,也需要辨識物體、確認位置、接觸物體並檢查結果。我們可以一次只改變一個條件,觀察哪個環節失敗。
實際操作機械手臂,也會揭露單靠模型評估不易發現的限制,例如相機位置、機械行為與實驗紀錄的品質。這讓我們能在選擇更大型的平台之前,累積可重用的軟體與實務判斷能力。未來的硬體應依用途所需的工作範圍、負載、環境與可靠性來選擇。
主要機器人平台帶來的啟發
以下案例涵蓋機器人技術的不同層面,從商業整合到研究與工廠試驗。第一手資料的查核日期是2026年9月24日。這項比較並非市占率或效能排名。
系統整合
Universal Robots
AI Accelerator
可訂購評估完整工作流程
設定 · 任務成功 · 故障診斷
感測與控制
Franka Research 3
研究用機械手臂
研究用硬體依研究問題選擇硬體
精密力控研究可能需要另一種機械手臂。
機器人模型
Google DeepMind
Gemini Robotics 2 / ER 2
預覽版模型ER 2使用管道:Google AI Studio / Gemini API
分別測試推理與動作
再於硬體上驗證兩者的整合。
實際部署
Figure在BMW的專案
Figure 03 + Helix 02
生產現場專案Helix 02:全身控制,依Figure說明
驗證完整的現場任務
工廠專案有明確的範圍。
- 明確目標
- 重用技能
- 衡量適應能力
整個系統如何協作?
示範或指令提供目標。感知負責定位相關物體,規劃負責選擇可用技能並安排順序,控制負責產生動作。執行時持續利用新的觀測,並依結果檢查決定繼續、重試,或請人協助。區分這些職責,才能診斷並改善各個元件。

目前的系統將一段簡短的人類示範影片理解為可支援的抓取放置目標,再呼叫預先編寫的幾何動作技能。這段影片不會訓練出新的操作策略。 這個基準系統讓我們能評估學習所得的感知能力、策略與任務組合。根據即時感知可靠地執行,仍是待解決的工作。
模擬與硬體應相互改進
模擬讓我們能在實機試驗之前重複任務、改變條件、比較方法。硬體則揭露模擬器遺漏的因素:光照與遮擋、相機校正、接觸行為或回應延遲。量測結果應回饋至模擬器、控制器或訓練過程。

領域隨機化 是一種相關方法:改變模擬的視覺外觀,可以降低對單一視覺條件的依賴。原始研究展示了物體定位的轉移效果,並未證明任意機器人行為都能自動轉移。要評估自己的系統,我們需要在完成校正的實機上試驗,並比較預期行為與實際觀測。
如何衡量進展?
任務是否成功,以及機器人是否判斷成功,是兩個獨立的量測項目。在我們的模擬中,物體可能已到達正確位置,視覺確認卻仍失敗。獨立的物理狀態檢查有助於區分這種驗證錯誤與抓取或放置失敗;控制器不會取得評估器使用的真實狀態。

我們規劃的比較會固定任務類別與保留供評估使用的配置,每次只調整感知、規劃或動作技能中的一個元件,並保留預先編寫的基準系統作為對照。量測項目包括:
- 完整任務的成功情況,包含先前放置的物體是否仍維持在正確位置。
- 重試與人工協助,包含系統無法自行解決的失敗。
- 適應所需的投入:每種變化需要多少額外示範與調校。
只有看清效益、成本與失敗條件,才能判斷一項改進是否實用。
下一步要做什麼?
下一個里程碑是在實機手臂上執行並量測一項範圍明確的任務,再於改變後的條件下測試。這些結果將協助我們決定,哪些技能、介面與評估方法值得用於更廣泛的任務類別和未來的機器人。
對VoicePing而言,這個小型研究平台支撐著更長遠的目標:建立將機器人智慧轉化為可靠工作的能力。如果你對這些問題有興趣,歡迎了解VoicePing的工作機會 與我們的研究文章 。


