CAVEDU教育團隊技術部落格 / CAVEDU 課程與研習

Isaac Sim × LeRobot 兩日課程:機械手臂資料採集、模型微調與推論

✍ CAVEDU 阿吉 - 雜工📅 2026-02-12👁 1,065

課程介紹

隨著 AI 基礎模型(Foundation Models)進入物理世界,具身智能 (Embodied AI) 已成為機器人開發的新標準。本課程將帶領學員從虛擬環境部署、資料採集到模型微調,全面掌握 NVIDIA Isaac 生態系與 LeRobot 框架 的實戰技能,打造從模擬到實體 (Sim-to-Real) 的完整工作流。

🚀 實戰亮點:涵蓋 NVIDIA Isaac Sim、Isaac Lab 與 Hugging Face LeRobot 框架。

🛠️ 智能整合:深度整合 NVIDIA 諸多 AI 套件,並於 ROS2 框架下實作各種機器人實用功能。

💾 解決痛點:實際操作 SO-ARM101 機器手臂進行遙控操作與 HDF5 資料採集訓練。

註:本門課不屬於 NVIDIA DLI 深度學習學員的講師實作坊,如需 DLI 證照請參考 NVIDIA DLI 講師實作坊 [運用 NVIDIA Isaac 開發高效機器人] 課程

課程定位

  • 🟢 程度:進階實務課程
  • 🟢 主題:具身智能 / Isaac Lab / LeRobot / 模型微調
  • 🟢 目標學員:AI / 機器人從業人員、對 Physical AI 有興趣者
  • 🟢 先修條件:熟悉 Python、基礎 Ubuntu Linux 指令及深度學習基本概念
  • 🟢 硬體要求:建議 RTX 3080 以上顯卡主機 (Ubuntu 22.04) 與 SO-ARM101 機器手臂
  • 🟢 軟體環境:Isaac Sim 5.0+, Isaac Lab v2.1.0+, GR00T N1.5

學習目標

  • 🎯 掌握 Isaac 軟體堆疊,建置高效能機器人模擬訓練環境
  • 🎯 實作數位孿生資產準備,匯入 OpenUSD 格式之手臂與場景
  • 🎯 透過實體遙控 (Teleoperation) 採集高品質 HDF5 專家資料
  • 🎯 微調 GR00T N1.5 基礎模型,實現多模態指令控制
  • 🎯 評估模型性能並理解從模擬擴展至真實部署的優化策略
GR00T概述
GR00T架構:VLM + 擴散 transformer
【現貨】SO-ARM101 AI 機器手臂實驗PRO套件(不含3D列印件)
SO-ARM101 機器手臂,包含教學者 (人類操控) 與執行者 (訓練後執行任務)

第一天課程:環境部署與資料採集

時間 內容摘要
09:00 – 10:30 具身智能與 Isaac 生態系概覽 - 具身智能趨勢:從傳統運動學到資料驅動控制 - NVIDIA Isaac Sim / Lab 架構解析與機器手臂工作流程
10:30 – 12:00 環境建置 - 安裝課程環境、Isaac Sim 與 Isaac Lab 等 - 配置 LeIsaac 儲存庫與相依套件
12:00 – 13:00 午餐時間
13:00 – 14:30 數位孿生場景準備 (Asset Preparation) - OpenUSD 格式簡介與 SO-ARM101 虛擬手臂匯入
14:30 – 16:00 遙控操作與資料採集 (Teleoperation) - 實體手臂連線與虛擬環境採樣實作 - 儲存抓取任務之 HDF5 數據
16:00 – 17:00 數據轉換與視覺化 - 使用 LeRobot 工具轉換訓練格式並進行回放檢查

第二天課程:模型訓練、微調與推論

時間 內容摘要
09:00 – 10:30 機器人基礎模型:GR00T N1.5 - 模型架構與多模態輸入分解 - Policy Training 參數配置說明
10:30 – 12:00 模型微調實作 (Policy Fine-tuning) - 淺談模仿學習、強化學習與兩者比較 - 啟動訓練腳本、監控指標變化與 GPU 資源配置
12:00 – 13:00 午餐時間
13:00 – 14:30 推論架構部署 (Inference Deployment) - Server/Client 架構解析 - 加載微調權重並啟動推論服務
14:30 – 16:00 虛擬環境閉環測試 (Evaluation) - 語言指令 (e.g., "Pick up the orange") 性能評測
16:00 – 17:00 總結 - 訓練實務分析 - 更多學習資源

立即洽詢與報名

CAVEDU 教育團隊 (翰尼斯企業) 是國內執行課程經驗最豐富的 NVIDIA 教育合作夥伴。 歡迎洽詢企業包班、技術顧問與客製化課程:

我們的專業團隊(2025 全球第一白金級大使領軍)將為您提供專屬的 NVIDIA DLI 原廠認證課程 規劃。

本文發表於CAVEDU 課程與研習、NVIDIA DLI 深度學習學院,並標記isaac lab、issac sim、lerobot、omniverse、機器手臂。

相關文章 📎

NVIDIA DLI 講師實作坊 [為大型語言模型注入新的知識]

2026-09-14

NVIDIA DLI 講師實作坊 [建立以大語言模型為基礎的代理 AI 應用]

2026-09-14

NVIDIA Physical AI 一日課程:SO-101 機器人模擬、VLA 訓練與部署

2026-07-01

SO-101 Sim-to-Real 兩日課程:NVIDIA Isaac 模擬訓練與實體部署

2026-04-25

留言 💬 (0)

還沒有留言,來當第一個。