Thermal Stereo Cam,VR影像、紅外線鏡頭還有 YOLO 偵測!

話說咱們機器人王國福利社老闆五月初去參加日本京都Maker Faire的時候,在現場看到了一個很有趣的專題。很高興對方同意我們翻譯之後刊載於CAVEDU部落格,原文請點我

專題名稱:Thermal Stereo Cam

開發者:Iwao Watanabe / Takeshi Ono,W&T/Toyo Trading Co.

簡述:Thermal Stereo Cam 可透過 iPhone app 來顯示 VR影像與點雲深度影像,會用到兩組 FLIR Lepton 3.5 熱成像攝影機模組與相關電路板

狀態:開發中原型

專題簡述:請看看本影片

阿吉老師註:影片中可以看到熱成像、點雲深度偵測以及使用 tiny Yolo 來偵測他們太謙虛了,以下補充影片截圖:

 

專題最初是從 Takeshi Ono 先生的 Lepton(80X60) 搭配 ESP8266(ESP-WROOM-02) 的系統開始的,這個系統可以發送資料給 iPhone。後來 Ono 先生碰到了 Watanabe,W 希望 O 改用 Lepton 3 來開發,這樣不但能提高解析度了,還可以裝上無人機呢。自此之後,W 與 O 就攜手來開發 Thermal Stereo Cam 系統了。

他們從 Lepton (80×60) 開始,能在 iPhone 上顯示 160 x 120 像素的畫面, 後來改用 Lepton 3 (160×120) 就可顯示 320 x 240 像素的畫面。由於本套系統需要處理原始資料(4-折疊內插運算),,因此不考慮 FPV 第一人稱影像 (NTSC 或 PAL) .  最終,用 Lepton (80×60) 的效果還不錯,但是 LEPTON 3 的資料傳輸量是原本的四倍,這讓他們很頭痛。系統在室內運作時很正常,但到了室外就不太行了,因為 Lepton 3 用掉了ESP8266 85% 以上的 RAM,使得系統不穩定且不斷重新開機。

反覆測試七個多月之後,他們終於可以讓系統更穩定,fps 達到 8-9,ESP8266 與 iPhone 的傳輸距離也達到了 100 公尺。他們榨乾了 ESP8266 的容量(約90%),另外 Lepton 3 為基礎的系統也上市了。去年他們又加入了 Thermal Stereo Cam 來支援兩組 LEPTON 3。現在搭配了 Lepton 3.5 之後,只需要更少程式碼就能取得更準確的溫度資料。他們還在 NVIDIA TX2 開發板上安裝了 openFrameworks

不過,兩片 ESP8266 會彼此干擾,且在 30 公尺左右就會開始干擾到無人機系統,所以他們還在努力搞定這些問題。另外,他們也積極在開發其他以 Lepton 為基礎的酷炫專案,最新進度請點我

想玩這套系統嗎?您需要一台 iPhone、W&T Thermal Cam iPhone app、一組(應該是兩個) Lepton 3 熱成像攝影機、兩片 ESP8266 與相關電子零件 。雖然 iPhone app 還沒有上架 App Store,但歡迎寫信到 wiwao@toyoco.jp。 雖然英文不算太好 (阿吉老師註:他們太謙虛了),但一定全力協助。

兩位開發者對這套系統相當自豪,也很高興作品能被收錄在 Lepton Makers’ Community Showcase註:即原文出處)。夥伴們,繼續創作吧!

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *