Jetson Nano安裝及使用RealSenseD435/D455

能在Jetson Nano上使用RealSense獲取影像深度資訊可以將材料費壓到一萬元出頭，做各式各樣立體視覺的專題。

自駕車是一直以來十分熱門的議題，但在早期的自駕車研發中，都會用上動輒數十萬、甚至到百萬的Lidar。Google早期研發的自駕車，為了全方位的安全，在一台車上就裝了四顆Lidar。過去想要體驗或研發自駕車跟立體視覺，通常都要先花一筆不小的費用。而現在想要體驗立體視覺，並製作自駕車的門檻已經大幅降低。Intel開發的景深攝影機RealSense D435提供的即時影像深度資訊，讓使用者可以在萬元以內體驗立體視覺，而且RealSense體積小，可以輕易地用於各式各樣有趣的應用。

本篇文章要跟大家介紹如何在Jetson Nano上安裝RealSense套件，以及一些簡易的應用。讓對影像深度資訊有興趣，又有一片Jetson Nano的使用者可以輕鬆入門。內文將會著重在RealSense於Jetson Nano上的應用，建議對Jetson Nano或是Linux系統有一些基礎再往下閱讀。

本文大綱

• 在Jetson Nano上安裝RealSense套件
• 測試RealSense的官方範例
• Jetson Nano搭配RealSenseD435溫度實測

在Jetson Nano上安裝RealSense套件

安裝RealSense是參考JetsonHacks的教學完成的，這個網站上有很多NVIDIA Jetson系列的文章以及影片，Github也十分豐富，誠摯地推薦給正在研究NVIDIA Jetson系列硬體的開發者。

安裝過程中會有幾個需要輸入密碼的地方，所耗費時間總約半小時。

Step 1. 設定Swapfile以解決記憶體不足的問題

git clone https://github.com/jetsonhacksnano/installSwapfile
cd installSwapfile
 ./installSwapfile.sh

重新啟動一下

sudo reboot

Step 2. 安裝RealSense套件

以下步驟僅供D435使用，如使用D455請直接看補充說明。安裝的一開始，會跳出警告要你檢查沒有任何RealSense接在Jetson Nano上，確認完畢後按任意鍵就可以繼續安裝了。

git clone https://github.com/jetsonhacksnano/installLibrealsense
cd installLibrealsense
./installLibrealsense.sh
./buildLibrealsense.sh

補充說明：如果使用的RealSense型號為D455，請按照以下步驟處理

補充一：

git clone https://github.com/jetsonhacksnano/installLibrealsense
cd installLibrealsense
./installLibrealsense.sh

補充二：檢查JetPack套件的版本，輸入指令

sudo apt-cache show nvidia-jetpack

補充三：修改buildLibrealsense.sh內容

LIBREALSENSE_VERSION=v2.31.0
#修改一：D455不支援v2.31.0，修改為LIBREALSENSE_VERSION=v2.38.1

#===========================

NVCC_PATH=/usr/local/cuda-10.0/bin/nvcc
#修改二：如Jetpack為4.4以上，修改為NVCC_PATH=/usr/local/cuda-10.2/bin/nvcc
#===========================

time make -j$(($NUM_CPU - 1))
time make 
#修改三：刪除檔案中的time指令，修改為
make -j$(($NUM_CPU - 1))
make
 
#===========================

/usr/bin/cmake ../ -DBUILD_EXAMPLES=true -DFORCE_LIBUVC=true -DBUILD_WITH_CUDA="$USE_CUDA" -DCMAKE_BUILD_TYPE=release -DBUILD_PYTHON_BINDINGS=bool:true

#修改四：輸出為Python3的函式庫，修改為/usr/bin/cmake ../ -DBUILD_EXAMPLES=true -DFORCE_LIBUVC=true -DBUILD_WITH_CUDA="$USE_CUDA" -DCMAKE_BUILD_TYPE=release -DBUILD_PYTHON_BINDINGS=bool:true -DPYTHON_EXECUTABLE=/usr/bin/python3

補充四：

sh ./buildLibrealsense.sh

安裝一個缺失的套件

sudo apt-get install libcanberra-gtk-module libcanberra-gtk3-module

安裝完後再次重新啟動

sudo reboot

安裝完成了，接下來就是測試範例讓RealSense動起來！

測試RealSense

打開terminal輸入以下指令，會跳出RealSense的操作界面。

realsense-viewer

將RealSense接上Jetson Nano後可以看到右上角建議你更新RealSense的韌體。點選「Install」更新，這邊會花一些時間。更新完成後如下圖。

將左側面板上的「Stereo Module」、「RGB Camera」都設定為「on」，就可以看到以下畫面，除了RGB Camera 拍到的串流影像之外，還有深度計算影像結果，可以看到兩個畫面的邊界有點差異，那是因為深度影像是多顆鏡頭的綜合結果，彩色影像是RealSense上 RGB Camera直接拍攝到的影像。

2D的兩個模式都有許多可以調整的參數，可以點選標題左側的三角形展開參數列表做調整。

3D模式下可以旋轉，可以下載3D點雲的檔案。有興趣的人可以進一步將檔案製作成可以3D列印的版本。

測試RealSense的官方範例

主要RealSense D435會用到的範例如下，下方包含T265的範例程式是針對追縱攝影機T265，在此不多著墨。

1.Tutorial 1 – 一個用ASCII顯示圖形的畫面

a.使用程式：python-tutorial-1-depth.py
b.執行成果圖：用ASCII code顯示深度影像

2.NumPy and OpenCV  – 測試OpenCV跟NumPy是否能順利使用

a.使用程式：opencv_viewer_example.py
b.執行成果圖：基礎的輪廓圖

3.Stream Alignment – 簡易的去背程式

a.使用程式：align-depth2color.py
b.執行成果圖：去背即時影像

4.RS400 Advanced Mode – 用於控制D400攝像機不同選項的高級模式界面範例

使用程式：python-rs400-advanced-mode-example.py

5.Realsense Backend – 使用後端接口控制設備的範例

使用程式：pybackend_example_1_general.py

6.Read bag file – 有關如何讀取bag文件並使用著色器在噴射色圖中顯示記錄的深度流的範例

使用程式：read_bag_example.py

7.Box Dimensioner Multicam – 用於控制D400攝像機不同選項的高級模式界面範例

使用程式：box_dimensioner_multicam_demo.py

8.Realsense over Ethernet  – 透過乙太網路做影像串流的教學文件

Jetson Nano搭配RealSenseD435溫度實測

點選「Software/軟體」搜尋Psensor並安裝，可以協助你監控Jetson Nano的溫度。

可以發現沒有加上風扇執行RealSense相關程式的時候，Jetson Nano溫度會高達52度。

有加上風扇後，執行RealSense相關程式的時候，自動降溫可以將系統維持在40 度上下。

可以參考Jetson Nano散熱風扇的教學，在terminal輸入以下指令：

sudo sh -c 'echo 255 > /sys/devices/pwm-fan/target_pwm'

強制將風扇風速調整至100％，就可以在五分鐘內降溫到24度左右！

所以建議想要在Jetson Nano上玩RealSense的人都幫它裝一顆風扇，讓開發板在適當的溫度下運作，可以延長開發板的使用壽命。

對Jetson Nano搭配RealSense有興趣的使用者，請繼續追蹤後續文章，或是有什麼感興趣的相關主題都可以跟我們分享唷！