RealSense D457 × AVerMedia SenseEdge 教學:韌體更新與 AI 距離偵測

| 撰寫/攝影 | 郭俊廷 | ||
| 時間 | 2H | 材料表 | SenseEdge Development Kit RealSense D457 螢幕鍵盤滑鼠 AX210 無線網路卡、WiFi天線 |
| 成本 | |||
| 難度 | ★★★☆☆ | ||
| 前言: 之前的文章開箱了AVerMedia SenseEdge 開發套件,這次來介紹如何使用RealSense D457攝影機及相關範例。 https://blog.cavedu.com/2026/06/22/avermedia_senseedge-development-kit-x-realsense-d457/ | |||
本教學將引導您完成RealSense D457 深度攝影機在 SenseEdge(D317 載板)上的韌體更新(關鍵步驟)、硬體連接驗證,以及執行 Vision AI 距離偵測範例。
剛開機可以看到桌面上有個火狐圖案的SenseEdge Official Site網頁可以打開:
打開後可以看到AVerMedia SenseEdge Development Kit相關說明及硬體介紹、BSP燒錄、開始設定等網頁。
這裡我們從 RealSense D457設定開始介紹,正常新品出貨時系統及RealSense相關程式套件都安裝好了。
除非另外設定,因此以下描述的所有終端命令和應用程式都需要透過連接的螢幕和鍵盤、滑鼠直接在 Jetson AGX Orin 設備 (D317) 上執行。另外需要注意的點是D317這裡沒有USB Type-A 接頭,只有USB Type-C 接頭如果需要使用USB鍵盤滑鼠需要另外準備一個USB Type-C HUB來轉接USB Type-A接頭。
第一階段:RealSense D457 韌體檢查與更新(關鍵步驟)
韌體檢查和更新
⚠️ 重要提示:RealSense D457 出廠時的預設韌體版本通常為 5.15.1.55,此版本不支援透過 GMSL(MIPI)連接線進行偵測。因此,您必須先切換至 USB 模式,將相機韌體升級至 5.17.0.10(或更新版本),才能正常在 D317 上使用 GMSL 傳輸。
更新步驟:
- 切換至 USB 模式:
- 拆下 RealSense D457 攝影機的頂部保護蓋。
- 找到內部的撥動開關,將其切換至 USB 位置。
用卡針戳入頂部保護蓋要小於上方的針孔處。
這裡要用卡針用力戳下去讓它可以卡住保護蓋後拔出來
打開頂部保護蓋後可以看到裡面有寫著M跟U,預設應該是M模式(MIPI),我們需要把它切換到U模式(USB),才可以進行韌體更新。
- 透過 USB 連接至 Jetson 裝置:
- 使用一條 USB Type-C to Type-C 傳輸線,將攝影機連接至 D317 載板上的其中一個 Type-C 連接埠。
- 啟動 Viewer 並更新韌體:
- 在 Jetson 系統中開啟終端機(快速鍵:Ctrl + Alt + T),輸入以下指令啟動 RealSense 視覺化工具:
- realsense-viewer
realsense-viewer
- 程式開啟後,點擊右上角的提示更新視窗install。
- 注意:更新期間請保持連線穩定,切勿拔除傳輸線或關閉裝置電源,以免相機損壞。
- 確認韌體版本:
- 更新完成後,在 Viewer 內點擊相機模組的 "info" (i) 圖示,確認韌體版本已顯示為 5.17.0.10 或更高版本。
***注意***更新時請勿斷開USB連接
請確保整個過程中 USB 連接保持穩定。在更新完成之前,請勿中斷連接線或關閉裝置電源,以免裝置損壞。
在右邊可以看到更新韌體的通知可以點選下圖紅框處的install進行韌體更新。
更新完成後會出現如右上方Update Completed的通知。
檢查韌體版本:更新完成後,點擊檢視器內相機模組上的「info」(i)圖標,確認韌體版本為5.17.0.10或更高版本。
第二階段:硬體連接與初始驗證
***注意***GMSL不支援熱插拔
為避免硬體損壞,在連接或斷開 FAKRA (GMSL) 電纜之前,請務必先關閉 Jetson 設備的電源。
恢復GMSL模式 請依照以下安全步將 D457設定為GMSL(MIPI)模式: 拔除相機的 USB 傳輸線:
將相機內部的撥動開關重新切回 MIPI 位置,並裝回頂部保護蓋。
將 Jetson 裝置完全關機(請務必關機,GMSL 不支援熱插拔,通電時插拔可能導致硬體損毀)。
使用 FAKRA 連接線將相機與 D317 載板的 GMSL 埠連接。
當您完成韌體更新、接妥 FAKRA 連接線並將 Jetson 裝置重新開機後,請進行以下步驟以確認硬體是否正常運作:
開啟終端機,執行以下指令:
realsense-viewer
確認左側裝置列表中正常出現 RealSense D457。
將 Stereo Module(立體相機模組) 與 RGB Camera(彩色相機) 的開關切換為 "On"。
檢查畫面,確認深度圖(Depth Stream)與彩色畫面(Color Stream)均能正常且即時地串流顯示。
就可以正常看到深度影像透過GMSL傳輸畫面了:
第三階段:Vision AI 範例程式環境設定
這裡會開始使用到網路,可以使用有線網路或是使用上篇文章提到的AX210無線網路卡:
realsense-viewer畫面正常顯示代表妳的RealSense D457韌體更新正常,這時候我們就可以來執行AVerMedia github提供的範例,這範例是使用 YOLO 模型進行 AI 視覺辨識人以及基於深度資料的距離估計範例。
首先先下載相關範例:
git clone https://github.com/AVerMedia-Technologies-Inc/SenseEdge-kit-quick-start.git
移動到範例資料夾:
cd SenseEdge-kit-quick-start
執行安裝腳本:此腳本會建立一個虛擬環境並將所需的 AI 模型及相關套件下載到虛擬環境中:
./setup.sh
💡 腳本執行提示:
系統密碼:安裝過程中若遇到 sudo 權限密碼要求,本裝置預設帳號與密碼皆為 nvidia。
系統時間檢查:腳本會檢查系統時間。如果時間不正確,會提示是否透過網路同步時間(網路同步可確保套件下載連線穩定),建議輸入 y 同步。
模型下載:腳本會詢問是否下載預先訓練好的 AI 模型,建議輸入 y 進行下載,以便稍後直接運行範例。
下載完模型並安裝完所有套件成功如下圖:
第四階段:運行 Vision AI 距離偵測範例
🛑 攝影機資源警示:相機硬體同時只能被「一個」應用程式讀取。在執行 AI 範例之前,請務必關閉剛才開啟的 realsense-viewer 工具。若 Viewer 未關閉,Python 範例將因無法取得相機控制權而啟動失敗。
- 啟用虛擬環境:
- 執行以下指令進入預設安裝好的虛擬環境:
-
source ~/avermedia/realsense_env/bin/activate
- 執行 AI 範例程式:
-
- 啟動 demo(人/距離偵測)範例:
python3 demo.py
- 運行結果: 系統會開啟一個即時影像視窗,畫面上會標示出物體偵測的邊界框(Bounding Boxes),並結合 RealSense D457 的深度數據,即時顯示與目標物體的物理距離。當物體距離過近時,畫面將會顯示深度型警告訊息。
-
參考資料:以上部分圖片引用自原廠網站:
更多的應用以及相關資料下載可以去參考以下原廠網站: https://developer.avermedia.com/sense-edge/latest/https://github.com/AVerMedia-Technologies-Inc/SenseEdge-kit-quick-start
本文發表於AIoT&邊緣運算、AI 人工智慧、NVIDIA、NVIDIA Jetson 邊緣 AI、機器學習、科技產品開箱與評測、邊緣運算,並標記avermedia、RealSense、景深攝影機。




留言 💬 (0)
還沒有留言,來當第一個。