在 Jetson Nano 上執行 Google Mediapipe,立即可用的辨識方案超好用!

撰寫/攝影 曾吉弘
難度

★★★☆☆

時間 1.5小時(包含下載與燒錄SD卡)

如果Jetson nano 已開機則為30分鐘

材料表

Google Mediapipe

    Google Mediapipe 針對即時串流媒體提供了開放原始碼且跨平台的機器學習解決方案,不需要深度攝影機就能偵測臉部、臉部格點、姿勢、2D物件體積以及手指等等,非常厲害。支援的平台包含 Android, iOS, C++ python、JavaScript 與自家的 Coral 運算裝置等平台,另外經過 CAVEDU 實際測試,在  Jetson nano 與 Raspberry Pi 上都有很不錯的執行速度。 

  Google Mediapipe 提供了非常多立即可用的應用,根據首頁說明,目前即可用的方案約有16種,請注意,目前並非所有平台都支援所有方案,請根據所要的應用來看看是否有更快上手的方法。但基礎應用如臉部偵測、臉部網格、手勢、姿勢等則各平台都有。

 迫不急待想要先玩一下的朋友,mediapipe 提供了 colab 的版本,直接點開來就可以玩啦,如以下就是 hand 範例 的 colab 執行畫面,自行上傳一張有手的照片就可以辨識手部的細微動作與各關節位置。對於各個方案所使用的神經網路模型請點我

在 Jetson Nano 上安裝 Mediapipe

    本文根據PINTO0309網友的教學,成功在 Jetson Nano 上完成 mediepipe 的環境,並可順利執行各個 python 範例。它另外也提供了 Raspberry Pi 的做法,希望對您有幫助,happy making ~

  1. 取得一套可開機的 Jetson Nano ,歡迎參考CAVEDU部落格的Jetson相關文章喔!也歡迎買一本書來慢慢跟著做~
  2. 開機,並開啟 ternimal,依序輸入以下指令來安裝所需套件。
sudo pip3 install opencv_contrib_python
sudo apt-get install curl
git clone https://github.com/PINTO0309/mediapipe-bin
cd mediapipe-bin
./v0.8.5/numpy119x/mediapipe-0.8.5_cuda102-cp36-cp36m-linux_aarch64_numpy119x_jetsonnano_L4T32.5.1_download.sh   (這個 sh 檔會下載一些檔案)
sudo pip3 install numpy-1.19.4-cp36-none-manylinux2014_aarch64.whl
sudo pip3 install mediapipe-0.8.5_cuda102-cp36-none-linux_aarch64.whl
sudo pip3 install opencv-python dataclasses
cd ~
git clone https://github.com/Kazuhito00/mediapipe-python-sample 
cd mediapipe-python-sample

經過一番奮戰,終於完成囉!

執行範例

    在此直接使用 https://github.com/Kazuhito00/mediapipe-python-sample 的範例,在部分情況下 FPS 可到 40 以上!您也可以試試看 mediapipe 原廠的 python 範例

手勢偵測

$ python3 sample_hand.py

 

相關文章:

 

 

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *