研華 AFE-R750 GMSL 攝影機教學:Orbbec Gemini 335LG 串接 Isaac ROS

| 撰寫/攝影 | 郭俊廷 | ||
| 時間 | 2H | 材料表 | 研華 AFE-R750(AGX ORIN 32G) 螢幕鍵盤滑鼠 |
| 成本 | |||
| 難度 | ★★★☆☆ | ||
這是一篇接續前文,專為研華 AFE-R750 與 Advantech Robotic Suite 所撰寫的教學。本篇將帶您完成 GMSL 攝影機(以 Orbbec Gemini 335LG 為例) 的基礎測試、ROS 2 驅動安裝,以及如何在Isaac ROS 範例中進行攝影機的視覺化呈現。
在 AMR 與機器人應用中,精準的 3D 視覺感知是實現避障與導航的關鍵。AFE-R750 具備 GMSL2 介面,可搭配高效能 3D 攝影機(如 Orbbec Gemini 335LG)整合。以下將分為「底層硬體測試」與「ROS 2 環境整合Isaac ROS 範例」兩大階段進行教學。
一、先決條件:確認 Robotic Suite 已安裝
若您尚未安裝 Advantech Robotic Suite,請先參考之前文章的指令完成基礎環境建置:
https://blog.cavedu.com/2026/09/15/afe-r750-advantech-robotic-suite/
(安裝完成後,系統將具備執行 ROS 2 容器的基礎能力。)
二、攝影機與驅動測試
在進入 ROS 2 複雜的環境前,我們應該先在系統底層確認攝影機的連線狀態與基本畫面輸出,以排除硬體問題。
1. 測試基礎 RGB 畫面 (透過 GStreamer)
您可以直接使用 Linux 內建的 v4l2 (Video4Linux2) 介面與 GStreamer 快速檢視攝影機畫面:
以下使用 Orbbec Gemini 335LG攝影機RGB掛載於 /dev/video2,請根據實際情況調整:
gst-launch-1.0 v4l2src device=/dev/video2 ! videoconvert ! autovideosink
若能成功看到畫面,代表作業系統已正確識別影像裝置。
2. 安裝驅動程式(上課使用的機器已安裝)
從 Advantech 網站下載Orbbec_Gemini-335LG_AFE-R750-X-Series_Jetpack-6.1驅動程式,AGX Orin SKU 請選擇 X 系列驅動程式;NX SKU 請選擇 M 系列驅動程式。(兩者驅動程式不共用。)
GMSL Driver for AFE-R750:
https://www.advantech.com/zh-tw/support/details/%E9%A9%85%E5%8B%95%E7%A8%8B%E5%BC%8F?id=1-346E8BG
cd ~/Download unzip Orbbec_Gemini-335LG_AFE-R750-X-Series_Jetpack-6.1_20260904.zip cd Orbbec_Gemini-335LG_AFE-R750-X-Series_Jetpack-6.1_20260904 chmod +x *.sh ./Install.sh
三、安裝與配置 OrbbecSDK_ROS2
為了讓攝影機能夠與 Navigation2、Isaac ROS 等應用程式進行整合,我們必須將攝影機的數據轉換為 ROS 2 節點 (Nodes)。以下為安裝 OrbbecSDK_ROS2 的完整流程。
接下來將 Orbbec Gemini 335LG 整合至 ROS 2 環境。Orbbec 官方提供 OrbbecSDK_ROS2,可讓 Orbbec 相機與 ROS 2 進行整合。
本次使用 ROS 2 Humble,以下示範從相依套件安裝、OrbbecSDK_ROS2 建置,到 Linux udev 規則設定的完整流程。
1. 安裝必要的相依套件
首先安裝 OrbbecSDK_ROS2 所需的相依套件(上課使用的機器已安裝):
sudo apt install libgflags-dev nlohmann-json3-dev \
ros-$ROS_DISTRO-image-transport \
ros-${ROS_DISTRO}-image-transport-plugins \
ros-${ROS_DISTRO}-compressed-image-transport \
ros-$ROS_DISTRO-image-publisher \
ros-$ROS_DISTRO-camera-info-manager \
ros-$ROS_DISTRO-diagnostic-updater \
ros-$ROS_DISTRO-diagnostic-msgs \
ros-$ROS_DISTRO-statistics-msgs \
ros-$ROS_DISTRO-xacro \
ros-$ROS_DISTRO-backward-ros \
libdw-dev \
libssl-dev \
mesa-utils \
libgl1 \
libgoogle-glog-dev
2. 啟用 ROS 2 指令自動補全
為了方便使用 ROS 2 與 colcon 指令,可以啟用指令自動補全功能:
eval "$(register-python-argcomplete3 ros2)" eval "$(register-python-argcomplete3 colcon)"
如果希望每次開啟終端機時都能自動載入,也可以將設定加入 ~/.bashrc:
echo 'eval "$(register-python-argcomplete3 ros2)"' >> ~/.bashrc echo 'eval "$(register-python-argcomplete3 colcon)"' >> ~/.bashrc
接著重新載入設定:
source ~/.bashrc
3. 安裝 OrbbecSDK_ROS2
OrbbecSDK_ROS2 提供兩種安裝方式:
- 直接安裝 ROS 2 二進位套件
- 從 GitHub 下載原始碼後自行建置
如果只是希望快速使用,可以選擇二進位套件;如果需要依照特定版本或進行開發,則可以使用原始碼建置。
方法一:安裝 ROS 2 二進位套件
首先更新套件清單:
sudo apt update
查看系統中是否有可用的 Orbbec 套件:
apt list | grep orbbec
接著安裝 Orbbec Camera 與 Description 套件:
sudo apt install ros-humble-orbbec-camera ros-humble-orbbec-description
安裝完成後,不需要另外進行編譯,即可直接使用 Orbbec ROS 2 Camera Node。
方法二:從原始碼建置 OrbbecSDK_ROS2(請使用這個方法我們要修改原始碼內檔案)
如果需要從原始碼安裝,可以先建立 ROS 2 工作空間:
mkdir -p ~/ros2_ws/src
進入 src 目錄,下載 OrbbecSDK_ROS2:
cd ~/ros2_ws/src git clone https://github.com/orbbec/OrbbecSDK_ROS2.git
進入專案目錄:
cd OrbbecSDK_ROS2
切換至 v2-main 分支:
git checkout v2-main
接著回到 ROS 2 工作空間進行建置:
cd ~/ros2_ws colcon build --event-handlers console_direct+ --cmake-args -DCMAKE_BUILD_TYPE=Release
建置完成後,載入工作空間:
source ~/ros2_ws/install/setup.bash
也可以設定之後在開機時都自動啟用
echo "source ~/ros2_ws /install/setup.bash" >> ~/.bashrc
之後即可使用 OrbbecSDK_ROS2 提供的 ROS 2 節點。
4. 設定 udev 規則
這個步驟非常重要。
為了讓 Linux 正確辨識 Orbbec 相機,必須安裝 udev 規則。如果沒有完成這項設定,可能會因為裝置存取權限不足,導致 ROS 2 節點無法正常開啟相機。
依照安裝方式不同,設定方式也有所不同。
二進位套件安裝
如果前面是透過 apt 安裝 Orbbec ROS 2 套件,可以執行:
sudo cp /opt/ros/$ROS_DISTRO/share/orbbec_camera/udev/99-obsensor-libusb.rules /etc/udev/rules.d/
接著重新載入 udev 規則:
sudo udevadm control --reload-rules sudo udevadm trigger
從原始碼建置
如果前面是從 GitHub 原始碼建置 OrbbecSDK_ROS2,則進入 udev 安裝腳本所在的目錄:
cd ~/ros2_ws/src/OrbbecSDK_ROS2/orbbec_camera/scripts
執行安裝腳本:
sudo bash install_udev_rules.sh
接著重新載入 udev 規則:
sudo udevadm control --reload-rules sudo udevadm trigger
⚠️ 注意
對 Linux 使用者而言,udev 規則設定是必要步驟。如果沒有完成設定,可能會因裝置權限不足而無法正常開啟 Orbbec 相機;此時執行範例時可能必須使用 sudo。
四、使用 Isaac ROS 範例搭配攝影機
以下示範將isaac_ros三個範例透過攝影機執行
第一個範例:isaac_ros_multi_sensor_demo
首先先移動到isaac_ros_kit範例資料夾
cd /usr/local/Advantech/ros/container/ros-demokit/isaac_ros_kit/
接著變更範例程式(run_app.sh )參數,使用以下指令:
sudo gedit apps/advanced_examples/isaac_ros_multi_sensor_demo/run_app.sh
第12行DEMO_MODE的地方(如下圖)改為1
335L攝影機改 DEMO_MODE=1
預設畫面:DEMO_MODE=2
D457攝影機改 DEMO_MODE=0
改完之後執行指令:
cd /usr/local/Advantech/ros/container/ros-demokit/isaac_ros_kit/ ./launch_isaac.sh advanced_examples/isaac_ros_multi_sensor_demo
再次進入容器,此時可以在 RViz2 中看到攝影機影像:
第二個範例:isaac_ros_yolov8
首先需要修改 Camera Topic
檢查 YOLOv8 範例的 Camera Topic 為 /image_rect,因此將 335LG RGB 相機 Topic 從 /camera/color/image_raw 修改為 /image_rect,並將 /camera/color/camera_info 修改為 /camera_info_rect。
開終端機修改以下檔案(上課使用的機器已完成設定)
sudo gedit ~/ros2_ws/install/orbbec_camera/share/orbbec_camera/examples/gmsl_camera/gemini_330_gmsl.launch.py
在 ComposableNode 段加入
remappings=[
('color/image_raw', '/image_rect'),
('color/camera_info', '/camera_info_rect'),
],
修改範例參數,停用範例中的 rosbag 資料來源
cd /usr/local/Advantech/ros/container/ros-demokit/isaac_ros_kit sudo gedit apps/basic_examples/isaac_ros_yolov8/run_app.sh
將下圖第 9 行包含 .bag 的指令註解掉後就是使用攝影機進行辨識,沒有註解就是使用預設的圖案進行辨識。

開啟新的終端機,啟動攝影機節點
(請不要關閉此終端機,關閉後可能造成攝影機裝置持續被占用,必要時需重新啟動系統,若出現 Property not found for aliasing status:114,可能代表攝影機裝置仍被其他程序占用,需重新開機)
ros2 launch orbbec_camera gemini_330_gmsl.launch.py
開啟另一個終端機,執行isaac_ros_yolov8指令,即可看到套用 YOLOv8 模型後的攝影機影像。
cd /usr/local/Advantech/ros/container/ros-demokit/isaac_ros_kit/ ./launch_isaac.sh basic_examples/isaac_ros_yolov8

第三個範例:isaac_ros_unet
首先一樣開啟攝影機節點,如果上一個範例的攝影機節點仍在執行中,則不需要重複啟動:
ros2 launch orbbec_camera gemini_330_gmsl.launch.py
修改範例參數,停用範例中的 rosbag 資料來源
cd /usr/local/Advantech/ros/container/ros-demokit/isaac_ros_kit sudo gedit apps/basic_examples/isaac_ros_unet/run_app.sh
將下圖第 6 行包含 .bag 的指令註解掉後就是使用攝影機進行辨識,沒有註解就是使用預設的圖案進行辨識。
開啟另一個終端機,執行 isaac_ros_unet,即可看到套用 UNet 模型後的攝影機影像。
cd /usr/local/Advantech/ros/container/ros-demokit/isaac_ros_kit/ ./launch_isaac.sh basic_examples/isaac_ros_unet
以上介紹完AFE-R750如何搭配 GMSL 攝影機,實際執行相關 Isaac ROS 範例。
更多應用範例、技術文件與相關資料下載,請參考以下研華網站:
本文發表於AIoT&邊緣運算、AI 人工智慧、NVIDIA、NVIDIA Jetson 邊緣 AI、單板電腦(SBC)、科技產品開箱與評測、科技趨勢與新知,並標記advantech、AGX Orin、JETOSN、Jetson Orin、深度攝影機。




留言 💬 (0)
還沒有留言,來當第一個。