CAVEDU教育團隊技術部落格 / AIoT&邊緣運算

DGX Spark GPT-OSS 120B 部署教學:Ollama 與 Open WebUI

✍ 徐 豐智📅 2026-02-03👁 1,303

前言

校園、研究單位與企業在導入生成式 AI 時,常需要兼顧資料隱私與資安。若應用不適合把資料送往外部雲端,可考慮在本地設備或內部網路部署大型語言模型,讓推論資料留在可控的環境中。

本文以 NVIDIA DGX Spark 為部署情境,示範使用 Ollama 執行 GPT-OSS 120B,並以 Open WebUI 提供瀏覽器操作介面,整理模型下載、服務啟動與區域網路連線流程,作為建置本地 AI 服務的參考。

撰寫/攝影 徐豐智
協助測試 郭俊廷
時間 1 小時 (視網路速度) 材料表
難度 ★★☆☆☆

本篇示範會用到以下工具:

  1. NVIDIA DGX Spark:提供為 AI 訓練與推論的硬體環境。
  2. Ollama:提供簡單可控的地端模型管理與 API 層。
  3. OpenWebUI:直覺化的使用者介面,讓使用者透過瀏覽器與 LLM 互動。

NVIDIA DGX Spark 是什麼?

NVIDIA DGX Spark 是面向生成式 AI 與大型語言模型開發的桌上型 AI 超級電腦,採用 GB10 Grace Blackwell 超級晶片,配備 128 GB 統一記憶體,並整合 CUDA 等 NVIDIA 軟體工具。可用於模型推論、原型開發與微調工作;實際效能會依模型、量化方式與工作負載而變化。

本文使用 ASUS Ascent GX10 實測。兩者皆以 GB10 Grace Blackwell 超級晶片為基礎;本文聚焦 Ollama 與 Open WebUI 的部署流程,實際操作仍可能因裝置韌體、系統映像與軟體版本而異。

ASUS Ascent GX10

準備 NVIDIA DGX Spark/ASUS GX10 環境

請參考前一篇文章:ASUS Ascent GX10 安裝系統教學

https://blog.cavedu.com/2025/11/07/asus_ascent_gx10_install/

Ollama 是什麼?

Ollama 是管理及執行大型語言模型(LLM)的工具,提供命令列介面與 API,支援 Windows、Linux 等平台。使用者可透過指令下載並啟動模型,減少自行配置推論服務的步驟;在相容的 NVIDIA GPU 環境中,Ollama 可使用 GPU 加速,適合開發與測試本地模型服務。

如何安裝 Ollama

開機進入Linux系統Ubuntu後,點選左下角,開啟Terminal,並按照下列步驟依序輸入指令: Terminal

1. 下載並安裝 Ollama:

curl -fsSL https://ollama.com/install.sh | sh
Ollama Finish

2. 執行 GPT-OSS 120B 模型:

執行下列指令啟動模型;若本機尚未有 GPT-OSS 120B 權重,Ollama 會先下載模型,再開始推論。初次下載需要網際網路,且模型檔案較大,時間依連線速度而異。

註:120B 模型檔案較大,首次下載需要較多時間與儲存空間。實際記憶體需求及回應速度會受量化版本與上下文長度影響;若要降低硬體負載,可改用 gpt-oss:20b。
ollama run gpt-oss:120b
Run Ollama 執行成功後即可在 Terminal 進行互動,按下 Ctrl+D 可離開環境。

Open WebUI 是什麼?

Open WebUI 是開源的網頁介面,可連接 Ollama 等模型服務,讓使用者在瀏覽器中切換模型、管理對話並調整相關設定。也可設定連接雲端 AI 的 API;是否使用雲端服務,取決於使用者的連線與設定。

Open WebUI Demo

如何安裝 Open WebUI

Open WebUI 是操作介面,本身不會提供模型推論。開始前請確認 Ollama 服務已啟動,且至少有一個模型可用;否則進入 Open WebUI 後,模型清單可能是空的。

如果你直接在DGX Spark接上螢幕鍵盤滑鼠進行操作的話,請開啟瀏覽器,並輸入網址(11434是Ollama API)

安裝前請確保 Ollama 已成功運作(輸入 http://localhost:11434 顯示 "Ollama is running")。

Ollama Running Check

1. 安裝 Docker 映像檔:

接著開啟Terminal,並按照下列步驟依序輸入指令

sudo docker pull ghcr.io/open-webui/open-webui:main
Docker Pull

2. 啟動容器:

sudo docker run -d \
--name open-webui \
--network host \
--restart unless-stopped \
-e OLLAMA_BASE_URL=http://127.0.0.1:11434 \
-v open-webui:/app/backend/data \
ghcr.io/open-webui/open-webui:main

3. 連線網頁:

在網頁瀏覽器中連線開啟OpenWebUI

如果是在DGX Spark中開啟瀏覽器,可輸入http://localhost:8080進行連線

(8080目前設定為OpenWebUI的UI)

如果跟DGX Spark在同一個網段中,只要輸入DGX Spark被分配到的ip即可連線http://ip:8080

模型下載與容器映像檔拉取需要網際網路;完成下載與設定後,若服務和網路配置允許,區域網路中的裝置可連線使用。請依實際防火牆與存取設定確認服務的安全性。

Open WebUI Login

首次開啟時建立管理員帳號,並依畫面設定使用者名稱、Email 與密碼。帳號驗證方式會依 Open WebUI 版本及管理員設定而異。

登入成功後,左上角可以選擇Ollama的開源模型(gpt-oss:120b),代表Open WebUI與Ollama連線成功。

如果Open WebUI沒有與Ollama連線,則沒有模型可以選擇,請確認前一個網址http://localhost:11434輸入時,網頁是否有出現Ollama is running

接下來即可使用AI模型進行熟悉的對話服務

如果沒有成功開啟Open WebUI,或者想關閉服務,可以嘗試以下幾個指令

  • 關閉服務: sudo docker stop open-webui
  • 開啟服務: sudo docker start open-webui
  • 查看狀態: sudo docker ps -a
    • STATUS 啟動中
    • STATUS 停止中
以上是本次文章的實作分享,歡迎來嘗試開啟自己的私人AI服務。!

本文發表於AIoT&邊緣運算、AI 人工智慧、NVIDIA、NVIDIA NIM 推論服務、邊緣運算,並標記dgx、DGX Spark、GPT-OSS、LLM、ollama、OpenWebUI、大語言模型。

相關文章 📎

建立不上網的私人大型AI模型,規劃工作站時要注意的事

2026-11-16

研華 AFE-R750 GMSL 攝影機教學:Orbbec Gemini 335LG 串接 Isaac ROS

2026-09-16

研華 AFE-R750 Robotic Suite 教學:安裝設定與 Isaac ROS 範例

2026-09-15

研華 MIC-711-OX4A3 SSD 系統安裝教學:Jetson Orin NX BSP 刷機

2026-09-08

留言 💬 (0)

還沒有留言,來當第一個。