收集資料、訓練模型與部署模型一次完成:阿吉老師看 Jetson AGX ORIN 平台

前言

NVIDIA 在 GTC2022 發布了 Jetson 系列王者:NVIDIA Jetson AGX ORIN 邊緣運算開發套件之後,就CAVEDU來看,對於邊緣運算裝置的日常:收集資料、訓練模型與部署模型這個流程上,是相當不錯的解方。Jetson Nano 這個等級的邊緣裝置為了平衡價格、算力,還要能做成一台可由行動電源供電的機器人,自然在許多地方受限了,就讓老大哥 ORIN 來幫忙吧!

新品開箱] NVIDIA® Jetson AGX Orin™ 開發套件開箱及系統安裝– CAVEDU教育團隊技術部落格
ORIN開箱,阿吉不知道樂什麼
借助NVIDIA Jetson Nano,16 歲高中生一舉奪下機器人競賽冠軍- NVIDIA 台灣官方部落格
收集道路資料中的 Jetbot

一如當年 Jetson nano 發布之後,我們就覺得這套產品在規格、價格、生態系與社群支援(資源)上都拿捏了一個很好的平衡點,也確實造成了一定的熱度。 CAVEDU 除了多位講師取得 Jetson AI 專家的資格,我也取得了 Jetson AI 大使並榮獲白金獎(推廣人數全球第一!)的肯定喔

我(阿吉)常常和學生說,時間也是成本的一種。當然,學生比較難做到課金升級這件事,但就算是 Google Colab 免費版,也是會遇到記憶體、使用時間與可用算力等限制。試想一下情境:

教學現場一直以來低估一件事:軟體環境架設的一致性很難達成與維護。現在遠距教學更加普及,老師不再只須要管好一間電腦教室,還要"隔空"處理學生的電腦。但學生對於環境架設如果卡住,通常也都是兩手一攤,如果有一個server可以又快又好地處理神經網路模型訓練,該有多好?

速度很重要,然後呢?

根據[Bring AI to the edge ! NVIDIA Jetson AGX ORIN 邊緣運算開發套件]一文說明,Jetson Orin 的規格當然要配得上它的售價,但如果只看規格好像又不夠,就讓我們用 [[活動紀錄] 2021 RK-Jetbot機器學習道路識別競賽-中區邀請賽] 這個情境來看,學生需要反覆進行以下步驟:

  • 操作 Jetbot (Jetson nano 為核心的機器人) 來收集道路資料
  • 整理好道路影像,動輒數百甚至上千張彩色圖片
  • 回傳到 notebook 進行訓練神經網路模型(這裡最耗時間)
  • 把神經網路模型放回到 Jetbot 上來驗證辨識效果並調整機器人參數 (反覆操作)

用資料來佐證!

由下表可以看到相同資料集、訓練20回合數的前提下,不同 Jetson 平台的訓練時間,Jetson AGX Orin 的訓練時間是 28秒 !如果是在同一個教室中的話,Jetbot 收集到的資料可以透過區域網路,或USB隨身碟來傳輸,而 Orin 訓練好的神經網路模型也可以相同的方式送回 Jetbot。

經實測可以節省大量時間,開發環境也單純多了!

在 Jetson nano 上原場考照(訓練神經網路模型)可以嗎?可以,但時間非常可觀(800秒/20回合),另外還要注意 Jetson nano 在訓練的過程中,系統會因為耗用大量資源而近乎當機…

 

教學現場考量

就CAVEDU長期規畫各種軟硬體整合的課程的角度,課程能否成功就在於以下四個項目可否平衡。對許多先進來說,這當然是老生常談,但在此就再強調一次。

歡迎洽詢體驗

如果對於 orin 的威力想要體驗一下的話,歡迎參考相關文章,我們對於 orin 配置於教學現場來提升邊緣預算課程的順暢度下了很多功夫,不論是軟體硬體整合與課程規劃上,都有很多實務經驗,歡迎多多洽詢喔!

相關文章

 

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *