NVIDIA Physical AI 一日課程:SO-101 機器人模擬、VLA 訓練與部署

課程介紹
在物理(實體)人工智慧(Physical AI)快速發展的今天,如何將虛擬模擬環境中訓練好的機器人模型無縫轉移到現實世界,是開發者面臨的最大挑戰之一。本課程將帶領您親自動手操作,深入了解並解決「Sim-to-Real(模擬到現實)」的差距。透過操作 SO-101 機械手臂,我們將訓練並部署一個視覺-語言-動作 (VLA) 模型,完成非結構化的夾取與放置任務。您將能在 Isaac 模擬環境中快速迭代與驗證,最後將成果部署至真實的機器人上,並運用多種策略系統化地縮小虛實差距。
✅ 機器手臂:本課程使用 SOARM 101機器手臂套件,並已根據本課程環境校正完成。報價與課程諮詢請洽文末資訊。
🌐 版本說明:本課程原文名稱為 [Train an SO-101 Robot From Sim-to-Real With NVIDIA Isaac],相關資訊皆以原廠為準。

課程定位
- 🟢 程度:技術 - 中級
- 🟢 主題:實體 AI / 機器人虛實整合 (Sim-to-Real)
- 🟢 完課證明:無
- 🟢 課程先修條件:熟悉 Python 開發,具備基礎機器學習與 ROS/機器人作業系統概念為佳
- 🟢 所需軟體:Python, Isaac Sim, LeRobot 等相關環境
- 🟢 所需硬體:可連上網際網路的筆記型電腦,用於連入雲端虛擬機與操作實體設備
- 🟢 相關資訊:請參考 NVIDIA 實體 AI 與機器人學習資源
- 🟢 課程定位:針對想要深入了解 NVIDIA Isaac Sim 與實體機器人部署的開發者、研究人員與大專院校師生
學習目標
- 🎯 配置並校正 SO-101 機械手臂,為 Sim-to-Real 實驗做好環境準備
- 🎯 透過遠端操作 (Teleoperation) 收集示範資料,並利用領域隨機化 (Domain Randomization) 技術來進行資料增強
- 🎯 使用 NVIDIA GR00T 框架來訓練視覺-語言-動作 (VLA) 模型以執行機器人操作任務
- 🎯 於模擬環境中評估訓練好的策略 (Policies),並轉移至實體機器人觀察 Sim-to-Real 的實際差距
- 🎯 實際應用四大 Sim-to-Real 策略:領域隨機化、真實數據共同訓練、Cosmos 數據擴增,以及 SAGE + GapONet 作動器差距估算
課程特色
-
- 🚀 深入 Sim-to-Real 核心挑戰:帶領學員親自體驗從 NVIDIA Isaac 模擬環境到真實物理世界的差距,並掌握最前沿的系統化解決方案。
- 🚀 整合頂尖 VLA 模型:引導使用 Isaac GR00T 訓練強大的視覺-語言-動作模型,賦予機器人理解指令與精準操作的能力。
- 🚀 掌握資料擴增與優化技巧:學習如何使用 Cosmos 等工具擴增資料集,並利用共同訓練 (Co-Training) 大幅提升機器人模型的泛化能力。
- 🚀 精準縮小作動差距:探討並實作 SAGE + GapONet 技術,科學化地測量與彌平模擬與真實馬達間的作動差異 (Actuation Gap)。
一日課程表:SO-101 機器人 Sim-to-Real 實戰 (全天 6 小時)
| 時間 | 內容摘要 |
|---|---|
| 10:00 – 10:30 | 概覽與建置機器人實驗室 - 簡介 Sim-to-Real 概念與 LeRobot 背景 - 建立工作區與取得模型程式碼 - 實機操作:校正 SO-101 機械手臂 |
| 10:30 – 12:00 | 資料收集與領域隨機化 - 策略 1:領域隨機化 (Domain Randomization) 概念實作 - 透過遠端操作收集示範資料 - 建立優質的機器人訓練資料集 |
| 12:00 – 13:00 | 午餐時間 |
| 13:00 – 14:00 | Isaac GR00T VLA 模型訓練與評估 - 認識並訓練視覺-語言-動作模型 - 於模擬環境進行評估 (Sim Evaluation) - 真實環境評估 (Real Evaluation) 與行為觀察 |
| 14:00 – 15:30 | 擴充資料集以提升泛化能力 - 策略 2:結合真實數據共同訓練 (Co-Training With Real Data) - 策略 3:使用 Cosmos 擴充資料集 (Augmenting Datasets) |
| 15:30 – 16:30 | 測量與彌平作動差距 - 策略 4:使用 SAGE + GapONet 測量作動差距 - 探討 Actuation Gap 並優化實體作動表現 |
| 16:30 – 17:00 | 更多學習資源與 Q&A - 講師分享更多 NVIDIA DLI 學習資源 - 互動討論 |
立即洽詢與報名
CAVEDU 教育團隊 (翰尼斯企業) 是國內執行課程經驗最豐富的 NVIDIA 教育合作夥伴。 歡迎洽詢企業包班、技術顧問與客製化課程:
我們的專業團隊(2025 全球第一白金級大使領軍)將為您提供專屬的 NVIDIA DLI 原廠認證課程 規劃。
* 須完成該課程所指定之課程評量,難度根據各課程而有不同。
** 翰尼斯企業有限公司(29070497)為正式註冊之法人,CAVEDU 為其教育部門。
本文發表於CAVEDU 課程與研習、NVIDIA DLI 深度學習學院,並標記SOARM101、VLA、實體AI、機器手臂、物理AI。








留言 💬 (0)
還沒有留言,來當第一個。