CAVEDU教育團隊技術部落格 / Arduino開發板與實作

Thermal Stereo Cam,VR影像、紅外線鏡頭還有 YOLO 偵測!

✍ CAVEDU 阿吉 - 雜工📅 2019-05-15👁 938

話說咱們機器人王國福利社老闆五月初去參加日本京都Maker Faire的時候,在現場看到了一個很有趣的專題。

很高興對方同意我們翻譯之後刊載於CAVEDU部落格,原文請點我。

  • 專題名稱:Thermal Stereo Cam
  • 開發者:Iwao Watanabe / Takeshi Ono,W&T/Toyo Trading Co.
  • 簡述:Thermal Stereo Cam 可透過 iPhone app 來顯示 VR影像與點雲深度影像,會用到兩組 FLIR Lepton 3.5 熱成像攝影機模組與相關電路板
  • 狀態:開發中原型
  • 專題簡述:請看看本影片

(阿吉老師註:影片中可以看到熱成像、點雲深度偵測以及使用 tiny Yolo 來偵測他們太謙虛了,以下補充影片截圖:)

 

專題最初是從 Takeshi Ono 先生的 Lepton(80X60) 搭配 ESP8266(ESP-WROOM-02) 的系統開始的,這個系統可以發送資料給 iPhone。後來 Ono 先生碰到了 Watanabe,W 希望 O 改用 Lepton 3 來開發,這樣不但能提高解析度了,還可以裝上無人機呢。自此之後,W 與 O 就攜手來開發 Thermal Stereo Cam 系統了。

他們從 Lepton (80×60) 開始,能在 iPhone 上顯示 160 x 120 像素的畫面, 後來改用 Lepton 3 (160×120) 就可顯示 320 x 240 像素的畫面。由於本套系統需要處理原始資料(4-折疊內插運算),,因此不考慮 FPV 第一人稱影像 (NTSC 或 PAL) .  最終,用 Lepton (80×60) 的效果還不錯,但是 LEPTON 3 的資料傳輸量是原本的四倍,這讓他們很頭痛。系統在室內運作時很正常,但到了室外就不太行了,因為 Lepton 3 用掉了ESP8266 85% 以上的 RAM,使得系統不穩定且不斷重新開機。

反覆測試七個多月之後,他們終於可以讓系統更穩定,fps 達到 8-9,ESP8266 與 iPhone 的傳輸距離也達到了 100 公尺。他們榨乾了 ESP8266 的容量(約90%),另外 Lepton 3 為基礎的系統也上市了。去年他們又加入了 Thermal Stereo Cam 來支援兩組 LEPTON 3。現在搭配了 Lepton 3.5 之後,只需要更少程式碼就能取得更準確的溫度資料。他們還在 NVIDIA TX2 開發板上安裝了 openFrameworks。

不過,兩片 ESP8266 會彼此干擾,且在 30 公尺左右就會開始干擾到無人機系統,所以他們還在努力搞定這些問題。另外,他們也積極在開發其他以 Lepton 為基礎的酷炫專案,最新進度請點我。

想玩這套系統嗎?您需要一台 iPhone、W&T Thermal Cam iPhone app、一組(應該是兩個) Lepton 3 熱成像攝影機、兩片 ESP8266 與相關電子零件 。雖然 iPhone app 還沒有上架 App Store,但歡迎寫信到 wiwao@toyoco.jp。 雖然英文不算太好 (阿吉老師註:他們太謙虛了),但一定全力協助。

兩位開發者對這套系統相當自豪,也很高興作品能被收錄在 Lepton Makers’ Community Showcase(註:即原文出處)。夥伴們,繼續創作吧!

本文發表於Arduino開發板與實作,並標記esp8266、iphone、maker。

相關文章 📎

打造虛擬鍵盤手勢控制音樂播放器--- 使用Arduino 首次接觸就上手

2024-11-06

《Arduino首次接觸就上手》的進階教學 追憶鳥山明:OLED螢幕上的經典重現

2024-04-23

使用DF燈光/馬達控制板,透過電腦來控制馬達轉速

2022-04-01

【Arduino首次接觸就上手】快速執行AI圖像辨識

2021-11-23

留言 💬 (0)

還沒有留言,來當第一個。