NVIDIA DGX Spark / Jetson Thor 高效能 AI 企業培訓課程規劃

馬斯克、Yann LeCun 與許多 AI 大老們都拿到 NVIDIA DGX Spark了，您應該 (也…快要) 拿到了吧？如果還沒的話，可以從機器人王國商城預購 ASUS Ascent GX10 (1TB) 與 Jetson Thor，兩者都是 128 GB 的高效運算裝置，分別鎖定小型工作站與機器人邊緣運算！

前言

企業內部技術團隊若要在 AI 領域保持領先，除了需要掌握最新的 AI 開發技能，也需要強大的運算平台支援。本規劃建議了一系列專業課程，結合 NVIDIA DGX Spark 桌上型超級電腦與 Jetson Thor 邊緣裝置的高效運算與 NVIDIA 深度學習學院 (DLI) 的現有課程模組，協助企業精進 AI 實務能力。

CAVEDU 針對 DGX Spark 與 Jetson Thor 提出三套課程，主題分別涵蓋生成式 AI 與企業私有應用、數位孿生與 Omniverse 環境模擬，以及邊緣 AI 與即時推論應用等，歡迎來信 (service@cavedu.com) 詢問與邀約課程！(CAVEDU 為 NVIDIA 認證之教育合作夥伴)。

課程主題一：生成式 AI 與企業私有應用

課程目標：培訓學員掌握生成式 AI 與大型語言模型 (LLM) 的原理與應用，學習如何針對企業內部資料打造專屬的大型模型服務。課程將介紹 LLM 的基礎（如 Transformer 架構）、提示工程，以及檢索強化生成 (RAG) 的概念與實作。在本課程中，學員將學會結合企業知識庫與 LLM，建立私有的生成式 AI 助理，實現如企業文件問答、客製聊天機器人等應用。

學習成效：完成本課程後，學員將能理解 LLM 運作原理，具備設計提示詞及應用生成式 AI 解決問題的能力，並能動手建立結合企業資料的 LLM 原型系統。結合 DGX Spark 在大模型開發中的性能優勢，熟悉如何在本地環境運行和調控各種模型。這為企業培養內部人才建立私有 ChatGPT 式服務打下基礎，強化企業知識資產的活用。

DGX Spark 應用價值：本課程將充分利用 DGX Spark 強大的本地運算能力。DGX Spark 配備 NVIDIA Grace CPU 與 Blackwell GPU 的高效能組合，以及 128GB 統一記憶體，能在本地載入並執行大型語言模型而無需仰賴雲端。例如，DGX Spark 可直接在記憶體中跑起 Llama 3.1 70B 等規模的模型，這在傳統工作站上是難以達成的。透過 DGX Spark，學員可實際微調中大型的 LLM，並體驗加速後的模型訓練與推理效能。這可充分體現 DGX Spark 在生成式 AI 開發上的優勢，也讓團隊了解如何在本地環境部署自有的大模型服務。

對應的 DLI 課程：課程綱要結合 NVIDIA DLI 現有模組，例如「使用提示工程技術打造LLM應用」以及「運用 AI 大型語言模型打造 RAG 智能代理」等內容。透過 NVIDIA 原廠教材搭配企業內部案例資料，讓學員理論與實務並進。以下是建議的兩日 (12小時) 課程安排摘要：

課程單元	內容摘要
Day 1 (生成式 AI 基礎)	生成式 AI 與 LLM 概論：介紹 Transformer 架構、大型語言模型的應用現況與案例 DGX Spark 環境設定：了解預載的 NVIDIA AI 軟體堆疊，實際操作 DGX Spark 上的開發工具 (如 CUDA、PyTorch/NeMo 等)，體驗載入高參數模型至本地記憶體運行 NVIDIA NIM：了解 NIM 上各類模型的部署方式以及立即可用 提示工程實作：學習設計有效提示詞，使用 DLI 範例體驗如何引導模型產生合乎企業規範的正確回應
Day 2 (專屬 LLM 實作與 RAG	檢索強化生成 (RAG) 原理：說明將企業資料庫融入 LLM 回答的技術，介紹向量資料庫與 Embedding 概念 RAG 系統建置實作：學員分組建構一個簡易企業知識庫問答系統。包含文件資料的向量化、建立相似度檢索、結合 LLM 產生回答的完整流程 模型微調與優化：使用 NVIDIA NeMo 等工具對預訓練 LLM 進行輕量微調（例如輸入企業專業語料進行領域調適），並在 DGX Spark 上加速訓練與推理驗證 – 成果展示與討論：各組展示專屬聊天機器人原型，討論應用場景、效能表現及 DGX Spark 帶來的改善

課程主題二：數位分身與 Omniverse 環境模擬

課程目標：培訓學員運用 NVIDIA Omniverse 平台進行數位孿生 (Digital Twins) 應用，期待能最佳化實體系統的設計與 AI 開發流程。學員將瞭解數位孿生的核心概念、重要工具 (例如通用場景描述框架 OpenUSD)，並學習如何在 Omniverse 中建立擬真的 3D 環境來模擬真實場景。課程涵蓋 Omniverse Kit 的開發流程，包括載入工業設備或機器人模型、設定物理和感測器、生成模擬資料，以及將 AI 模型融入模擬環境進行測試。透過這些內容，工程師可以掌握以虛擬環境來加速研發迭代，例如在數位工廠中測試生產線優化，或訓練機器人自動化流程。

學習成效：學員將瞭解數位孿生技術在產業中的重要性，使用 Omniverse 與 OpenUSD 工具來建立和操控虛擬環境。他們將能夠建立基本的數位孿生場景，並產生合成資料來輔助 AI 模型的訓練與測試nvidia.com。透過 DGX Spark，學員體驗到單一高效能設備即可同時進行複雜模擬與 AI 運算的便利，這有助於企業在產品研發、製造流程最佳化以及機器人開發中導入數位孿生方法，加速研發迭代並降低成本風險。

DGX Spark 應用價值：DGX Spark 強大的 GPU 算力與 RTX 圖形渲染能力，非常適合驅動 Omniverse 這類需要即時圖形模擬與 AI 計算的平臺。在課程中，DGX Spark 將用於執行高仿真寫度的物理模擬（包含多光源即時繪圖、碰撞物理計算等），確保學員在虛擬環境中獲得順暢的體驗。同時，DGX Spark 可並行運行 AI 模型訓練與推理，讓學員嘗試在模擬中訓練強化學習代理或測試電腦視覺模型的表現。有了 DGX Spark，一台設備即可同時模擬複雜3D場景並執行 AI 計算，展示數位孿生結合 AI 的強大威力。例如，利用 DGX Spark，學員可以在幾分鐘內生成大量高品質的合成影像資料來訓練電腦視覺模型，節省在真實環境蒐集資料的時間和成本。

課程內容與 DLI 模組結合：課程結合 NVIDIA DLI 的 Omniverse 與數位孿生學習路徑資源。例如首先透過「何謂數位分身？」模組了解產業實例nvidia.com；接著使用「Omniverse Kit 開發入門」與「建立數位孿生應用」等自主課程，讓學員逐步上手 Omniverse 的開發流程。若企業應用涉及機器人，自主學習路徑中的 Isaac Sim 模擬課程也可加入，以涵蓋機器人在數位分身中的開發實務。以下為建議的兩日 (12小時) 課程大綱：

課程主題三：邊緣 AI 與即時推理應用 (Jetson Thor)

課程目標：本課程聚焦邊緣 AI 技術，培訓學員設計開發在邊緣端執行的 AI 解決方案，包括物聯網感測、即時視覺分析、邊緣設備上的推論加速等主題。課程將探討邊緣場景的特殊挑戰（如硬體資源受限、低延遲需求），介紹 NVIDIA 在邊緣 AI 領域的解決方案與開發套件，例如 Jetson 系列裝置、TensorRT 工具以及 DeepStream 視訊分析 SDK 等。透過理論講解與實作練習，學員將學會如何將雲端訓練的 AI 模型部署到邊緣設備，並進一步提升推論效能。同時課程將涵蓋邊緣設備與雲端的協同策略，以及實現即時決策的技巧，例如串流資料處理和低延遲傳輸。

學習成效：經過本課程，學員將具備在邊緣場景部署 AI 的實戰能力，包括模型壓縮優化、即時資料處理以及系統性能調校。他們將熟悉 NVIDIA 邊緣 AI 生態系的常用工具，可將雲端訓練的 AI 模型有效地移植到 Jetson 等裝置上運行，並確保在即時性要求下的可靠度。同時，透過 DGX Spark 的模擬與加速，團隊成員體認到統一的平台可以大幅縮短開發調試週期：在引進實體裝置前，就能利用 Jetson Thor 搭配相關框架快速開發和驗證邊緣 AI 解決方案。這將有助於企業加速物聯網與邊緣智慧專案的落地，打造從雲端到邊緣端協同的 AI 基礎架構。

Jetson Thor 應用價值：在邊緣 AI 情境中，Jetson Thor 扮演著集中研發與模擬的平台角色。一方面，Thor 可用於訓練深度學習模型，並利用其強大算力進行模型壓縮和優化，再將精簡的模型部署到資源有限的邊緣裝置上。另一方面，Thor 或其他 Jetson 裝置也可實際介接多路即時資料流（例如同時模擬多台攝影機串流），讓學員實際測試邊緣 AI 應用的效能並驗證案例。如同 DGX Spark，Jetson Thor 也支援 NVIDIA 完整的軟體堆疊，學員可在其上使用 TensorRT 進行模型量化和加速推理，以及使用 NVIDIA Metropolis/DeepStream 平台來建立端到端視訊分析管線，協助學員快速開發出原型邊緣智慧應用。

課程內容與 DLI 模組結合：課程內容可對接 NVIDIA DLI 的機器人學習路徑。學員將從中學習到如何在邊緣裝置上部署 AI 模型以及提升系統效能的方法。以下是兩日 (12小時) 的課程規劃：

課程單元	內容摘要
Day 1: 邊緣 AI 技術概論	介紹 Edge AI 的定義與應用場景，如智慧攝影機、工業物聯網感測、自治裝置等。說明邊緣計算相較雲端的挑戰，包括裝置計算能力限制、網路頻寬與延遲問題，以及資料隱私考量。 介紹 NVIDIA 在邊緣 AI 方面的產品與軟體生態系，例如 Jetson 系列模組（Nano/Orin）、NVIDIA IGX 平台，以及支援的軟體如 Isaac（機器人）、Metropolis（影像分析）、Morpheus（資安AI）等。學員將了解如何挑選適當的硬體與工具來滿足不同邊緣應用需求。 Jetson Thor 介紹與系統操作。
Day 2 模型部署與優化實作	以實際案例進行實作。例如針對「即時影像偵測」案例，學員將體驗從雲端到邊緣的整個流程：運用預先標註的資料集訓練一個電腦視覺模型（如異常物件偵測），然後使用 TensorRT 將模型進行量化壓縮和格是最佳化。 部署模型：將訓練好的模型部署在 Jetson Thor，透過 DeepStream SDK 建立視訊資料管線，實現即時影像推理。學員將調整影像解析度、幀率等參數，觀察在大量串流下，系統規格與模型的推論延遲和吞吐表現。 討論如何將多台邊緣設備的資料即時彙集。

參考資料

• NVIDIA DGX Spark 產品頁面

• NVIDIA 深度學習學院課程 – 數位孿生學習路徑

• NVIDIA 深度學習學院課程 – 機器人學習路徑

• https://build.nvidia.com/nvidia/build-an-enterprise-rag-pipeline