CAVEDU教育團隊技術部落格 / AIoT&邊緣運算

ASUS UGen300 Open WebUI 教學:Windows 11 串接 hailo-ollama

✍ 徐 豐智📅 2026-06-15👁 948

簡介

承接上文,我們已經能夠在 Windows 11 環境下執行 hailo-ollama,讓 UGen300 USB AI 加速器成功運行大型語言模型,接下來將會說明如何在主機上安裝並使用 Open WebUI 應用程式,串接先前建立的 hailo-ollama 伺服器,在圖形化介面與大型語言模型進行對話。

文中使用的硬體

帶有 USB-C 10Gbps 介面的 Windows 11 電腦主機

ASUS UGen300 USB AI 加速器

測試系統版本

Windows 11 25H2

透過 Open WebUI 對話

直接使用 curl 指令對話時,回傳的內容會因為串流格式而變得不易閱讀。這時可以改為使用 Open WebUI,透過圖形化介面進行操作,首先要到 Open WebUI Desktop 的 Github 下載安裝檔案:

https://github.com/open-webui/desktop

將 Github 頁面向下拉動後,應該可以看到各個版本的安裝檔案,這邊選擇 Windows x64 平台的安裝檔案

下載完成後執行安裝檔案,進行 Open WebUI Desktop 的安裝,等待安裝完成後後就會彈出程式視窗,選擇 開始使用 進入下一步。

在正式安裝 Open WebUI 前會詢問是否要安裝其他功能套件,可以根據需求選擇。

按下繼續後,程式會自動將所需的套件逐一安裝,花費時間根據網路速度而定,大約需要 10~15 分鐘。

安裝完成後就會進到空白的介面,點擊左上角的按鈕將側邊欄展開。

點擊側邊欄中的 Open WebUI,進入 Open WebUI 介面,再點擊 開始使用 開始設定程式。如果是在剛開啟程式時,這個畫面可能還未載入完成,等待 Open WebUI 前方的燈號變為綠色後就會出現介面。

第一次進入 Open WebUI 時會要求建立一個管理員帳號,在各欄位輸入對應的資訊後,按下方的 建立管理員帳號 即可正式進入。

首次使用時,需要先修改連線設定,讓 OpenWebUI 能夠連線到 hailo-ollama,點擊左上的 選擇模型,在點擊 管理連線 進入連線設定介面

進入連線設定後,點擊 Ollama API 中 管理 Ollama API 連線後方的齒輪,進入編輯連線介面 

將 URL 欄位中的內容改為 http://localhost:8000,改完後可以按一下後方的重新整理,如果成功連線會彈出 伺服器連線已驗證 的提示。

如果沒有回應的話可能是 hailo-ollama 沒有啟動,參考前面文章中的 啟動 hailo-ollama 步驟將它啟動後再次設定後應該會正常回覆。

確定能夠連線後,記得要按下儲存套用設定,然後按一下左上角的小圖案就可以回到對話介面。

返回對話介面後,剛才選擇模型的位置會變為之前下載的模型名稱,假如下載了多個模型,也可以使用下拉選單切換。

選擇想要的模型後,就可以直接與模型對話。

結論

透過這一系列文章中的 Windows 11 環境配置與實作引導,我們展示了如何輕鬆地在既有的設備上使用 UGen300 USB AI 加速器,快速體驗本地端大型語言模型(LLM)的推論能力。憑藉著 Hailo-10H 晶片的高算力與低功耗優勢,搭配隨插即用的 USB-C 介面,UGen300 加速器不僅大幅降低了生成式 AI 的硬體門檻,更讓高效、便捷的在地 AI 應用觸手可及。

參考文件

華碩 ASUS UGen300 8GB 產品頁面:https://www.asus.com/tw/motherboards-components/ai-accelerator/ugen/ugen300-usb-8g/

Hailo Model Zoo GenAI Github:

https://github.com/hailo-ai/hailo_model_zoo_genai

Open WebUI Desktop Github:

https://github.com/open-webui/desktop

本文發表於AIoT&邊緣運算、AI 人工智慧、科技趨勢與新知。

相關文章 📎

建立不上網的私人大型AI模型,規劃工作站時要注意的事

2026-11-16

研華 AFE-R750 GMSL 攝影機教學:Orbbec Gemini 335LG 串接 Isaac ROS

2026-09-16

研華 AFE-R750 Robotic Suite 教學:安裝設定與 Isaac ROS 範例

2026-09-15

研華 MIC-711-OX4A3 SSD 系統安裝教學:Jetson Orin NX BSP 刷機

2026-09-08

留言 💬 (0)

還沒有留言,來當第一個。