CAVEDU教育團隊技術部落格 / AIoT&邊緣運算

研華 AFE-R750 GMSL 攝影機教學:Orbbec Gemini 335LG 串接 Isaac ROS

✍ 郭 俊廷📅 2026-09-16👁 533
撰寫/攝影 郭俊廷
時間 2H 材料表 研華 AFE-R750(AGX ORIN 32G) 螢幕鍵盤滑鼠
成本
難度 ★★★☆☆

這是一篇接續前文,專為研華 AFE-R750 與 Advantech Robotic Suite 所撰寫的教學。本篇將帶您完成 GMSL 攝影機(以 Orbbec Gemini 335LG 為例) 的基礎測試、ROS 2 驅動安裝,以及如何在Isaac ROS 範例中進行攝影機的視覺化呈現。

在 AMR 與機器人應用中,精準的 3D 視覺感知是實現避障與導航的關鍵。AFE-R750 具備 GMSL2 介面,可搭配高效能 3D 攝影機(如 Orbbec Gemini 335LG)整合。以下將分為「底層硬體測試」與「ROS 2 環境整合Isaac ROS 範例」兩大階段進行教學。

一、先決條件:確認 Robotic Suite 已安裝

若您尚未安裝 Advantech Robotic Suite,請先參考之前文章的指令完成基礎環境建置:

https://blog.cavedu.com/2026/09/15/afe-r750-advantech-robotic-suite/

(安裝完成後,系統將具備執行 ROS 2 容器的基礎能力。)

二、攝影機與驅動測試

在進入 ROS 2 複雜的環境前,我們應該先在系統底層確認攝影機的連線狀態與基本畫面輸出,以排除硬體問題。

1. 測試基礎 RGB 畫面 (透過 GStreamer)

您可以直接使用 Linux 內建的 v4l2 (Video4Linux2) 介面與 GStreamer 快速檢視攝影機畫面:

以下使用 Orbbec Gemini 335LG攝影機RGB掛載於 /dev/video2,請根據實際情況調整:

gst-launch-1.0 v4l2src device=/dev/video2 ! videoconvert ! autovideosink

若能成功看到畫面,代表作業系統已正確識別影像裝置。

2. 安裝驅動程式(上課使用的機器已安裝)

從 Advantech 網站下載Orbbec_Gemini-335LG_AFE-R750-X-Series_Jetpack-6.1驅動程式,AGX Orin SKU 請選擇 X 系列驅動程式;NX SKU 請選擇 M 系列驅動程式。(兩者驅動程式不共用。)

GMSL Driver for AFE-R750:

https://www.advantech.com/zh-tw/support/details/%E9%A9%85%E5%8B%95%E7%A8%8B%E5%BC%8F?id=1-346E8BG

AGX Orin 使用 X 系列驅動程式

cd ~/Download 

unzip Orbbec_Gemini-335LG_AFE-R750-X-Series_Jetpack-6.1_20260904.zip

cd Orbbec_Gemini-335LG_AFE-R750-X-Series_Jetpack-6.1_20260904

chmod +x *.sh

./Install.sh

三、安裝與配置 OrbbecSDK_ROS2

為了讓攝影機能夠與 Navigation2、Isaac ROS 等應用程式進行整合,我們必須將攝影機的數據轉換為 ROS 2 節點 (Nodes)。以下為安裝 OrbbecSDK_ROS2 的完整流程。

接下來將 Orbbec Gemini 335LG 整合至 ROS 2 環境。Orbbec 官方提供 OrbbecSDK_ROS2,可讓 Orbbec 相機與 ROS 2 進行整合。

本次使用 ROS 2 Humble,以下示範從相依套件安裝、OrbbecSDK_ROS2 建置,到 Linux udev 規則設定的完整流程。

1. 安裝必要的相依套件

首先安裝 OrbbecSDK_ROS2 所需的相依套件(上課使用的機器已安裝):

sudo apt install libgflags-dev nlohmann-json3-dev \
ros-$ROS_DISTRO-image-transport \
ros-${ROS_DISTRO}-image-transport-plugins \
ros-${ROS_DISTRO}-compressed-image-transport \
ros-$ROS_DISTRO-image-publisher \
ros-$ROS_DISTRO-camera-info-manager \
ros-$ROS_DISTRO-diagnostic-updater \
ros-$ROS_DISTRO-diagnostic-msgs \
ros-$ROS_DISTRO-statistics-msgs \
ros-$ROS_DISTRO-xacro \
ros-$ROS_DISTRO-backward-ros \
libdw-dev \
libssl-dev \
mesa-utils \
libgl1 \
libgoogle-glog-dev

2. 啟用 ROS 2 指令自動補全

為了方便使用 ROS 2 與 colcon 指令,可以啟用指令自動補全功能:

eval "$(register-python-argcomplete3 ros2)"

eval "$(register-python-argcomplete3 colcon)"

如果希望每次開啟終端機時都能自動載入,也可以將設定加入 ~/.bashrc:

echo 'eval "$(register-python-argcomplete3 ros2)"' >> ~/.bashrc

echo 'eval "$(register-python-argcomplete3 colcon)"' >> ~/.bashrc

接著重新載入設定:

source ~/.bashrc

3. 安裝 OrbbecSDK_ROS2

OrbbecSDK_ROS2 提供兩種安裝方式:

  1. 直接安裝 ROS 2 二進位套件
  2. 從 GitHub 下載原始碼後自行建置

如果只是希望快速使用,可以選擇二進位套件;如果需要依照特定版本或進行開發,則可以使用原始碼建置。

方法一:安裝 ROS 2 二進位套件

首先更新套件清單:

sudo apt update

查看系統中是否有可用的 Orbbec 套件:

apt list | grep orbbec

接著安裝 Orbbec Camera 與 Description 套件:

sudo apt install ros-humble-orbbec-camera ros-humble-orbbec-description

安裝完成後,不需要另外進行編譯,即可直接使用 Orbbec ROS 2 Camera Node。

方法二:從原始碼建置 OrbbecSDK_ROS2(請使用這個方法我們要修改原始碼內檔案)

如果需要從原始碼安裝,可以先建立 ROS 2 工作空間:

mkdir -p ~/ros2_ws/src

進入 src 目錄,下載 OrbbecSDK_ROS2:

cd ~/ros2_ws/src
git clone https://github.com/orbbec/OrbbecSDK_ROS2.git

進入專案目錄:

cd OrbbecSDK_ROS2

切換至 v2-main 分支:

git checkout v2-main

接著回到 ROS 2 工作空間進行建置:

cd ~/ros2_ws
colcon build --event-handlers console_direct+ --cmake-args -DCMAKE_BUILD_TYPE=Release

建置完成後,載入工作空間:

source ~/ros2_ws/install/setup.bash

也可以設定之後在開機時都自動啟用

echo "source ~/ros2_ws /install/setup.bash" >> ~/.bashrc

之後即可使用 OrbbecSDK_ROS2 提供的 ROS 2 節點。

4. 設定 udev 規則

這個步驟非常重要。

為了讓 Linux 正確辨識 Orbbec 相機,必須安裝 udev 規則。如果沒有完成這項設定,可能會因為裝置存取權限不足,導致 ROS 2 節點無法正常開啟相機。

依照安裝方式不同,設定方式也有所不同。

二進位套件安裝

如果前面是透過 apt 安裝 Orbbec ROS 2 套件,可以執行:

sudo cp /opt/ros/$ROS_DISTRO/share/orbbec_camera/udev/99-obsensor-libusb.rules /etc/udev/rules.d/

接著重新載入 udev 規則:

sudo udevadm control --reload-rules

sudo udevadm trigger

從原始碼建置

如果前面是從 GitHub 原始碼建置 OrbbecSDK_ROS2,則進入 udev 安裝腳本所在的目錄:

cd ~/ros2_ws/src/OrbbecSDK_ROS2/orbbec_camera/scripts

執行安裝腳本:

sudo bash install_udev_rules.sh

接著重新載入 udev 規則:

sudo udevadm control --reload-rules

sudo udevadm trigger

⚠️ 注意

對 Linux 使用者而言,udev 規則設定是必要步驟。如果沒有完成設定,可能會因裝置權限不足而無法正常開啟 Orbbec 相機;此時執行範例時可能必須使用 sudo。

四、使用 Isaac ROS 範例搭配攝影機

以下示範將isaac_ros三個範例透過攝影機執行

第一個範例:isaac_ros_multi_sensor_demo

首先先移動到isaac_ros_kit範例資料夾

cd /usr/local/Advantech/ros/container/ros-demokit/isaac_ros_kit/

接著變更範例程式(run_app.sh )參數,使用以下指令:

sudo gedit apps/advanced_examples/isaac_ros_multi_sensor_demo/run_app.sh

第12行DEMO_MODE的地方(如下圖)改為1

335L攝影機改 DEMO_MODE=1

預設畫面:DEMO_MODE=2

D457攝影機改 DEMO_MODE=0

改完之後執行指令:

cd /usr/local/Advantech/ros/container/ros-demokit/isaac_ros_kit/

./launch_isaac.sh advanced_examples/isaac_ros_multi_sensor_demo

再次進入容器,此時可以在 RViz2 中看到攝影機影像:

第二個範例:isaac_ros_yolov8

首先需要修改 Camera Topic

檢查 YOLOv8 範例的 Camera Topic 為 /image_rect,因此將 335LG RGB 相機 Topic 從 /camera/color/image_raw 修改為 /image_rect,並將 /camera/color/camera_info 修改為 /camera_info_rect。

開終端機修改以下檔案(上課使用的機器已完成設定)

sudo gedit ~/ros2_ws/install/orbbec_camera/share/orbbec_camera/examples/gmsl_camera/gemini_330_gmsl.launch.py

在 ComposableNode 段加入

remappings=[

    ('color/image_raw', '/image_rect'),

    ('color/camera_info', '/camera_info_rect'),

],

修改範例參數,停用範例中的 rosbag 資料來源

cd /usr/local/Advantech/ros/container/ros-demokit/isaac_ros_kit

sudo gedit apps/basic_examples/isaac_ros_yolov8/run_app.sh

將下圖第 9 行包含 .bag 的指令註解掉後就是使用攝影機進行辨識,沒有註解就是使用預設的圖案進行辨識。

開啟新的終端機,啟動攝影機節點

(請不要關閉此終端機,關閉後可能造成攝影機裝置持續被占用,必要時需重新啟動系統,若出現 Property not found for aliasing status:114,可能代表攝影機裝置仍被其他程序占用,需重新開機)

 ros2 launch orbbec_camera gemini_330_gmsl.launch.py

開啟另一個終端機,執行isaac_ros_yolov8指令,即可看到套用 YOLOv8 模型後的攝影機影像。 

cd /usr/local/Advantech/ros/container/ros-demokit/isaac_ros_kit/

./launch_isaac.sh basic_examples/isaac_ros_yolov8

第三個範例:isaac_ros_unet 

首先一樣開啟攝影機節點,如果上一個範例的攝影機節點仍在執行中,則不需要重複啟動:

ros2 launch orbbec_camera gemini_330_gmsl.launch.py

修改範例參數,停用範例中的 rosbag 資料來源

cd /usr/local/Advantech/ros/container/ros-demokit/isaac_ros_kit

sudo gedit apps/basic_examples/isaac_ros_unet/run_app.sh

將下圖第 6 行包含 .bag 的指令註解掉後就是使用攝影機進行辨識,沒有註解就是使用預設的圖案進行辨識。

開啟另一個終端機,執行 isaac_ros_unet,即可看到套用 UNet 模型後的攝影機影像。

cd /usr/local/Advantech/ros/container/ros-demokit/isaac_ros_kit/

./launch_isaac.sh basic_examples/isaac_ros_unet

以上介紹完AFE-R750如何搭配 GMSL 攝影機,實際執行相關 Isaac ROS 範例。

更多應用範例、技術文件與相關資料下載,請參考以下研華網站:

https://www.advantech.com/zh-tw/products/8d5aadd0-1ef5-4704-a9a1-504718fb3b41/afe-r750/mod_779d2a74-61d9-4d78-a4e0-2ca07afbd64b

https://docs.robotic-suite.advantech.com/zh/

https://github.com/orbbec/OrbbecSDK_ROS2

本文發表於AIoT&邊緣運算、AI 人工智慧、NVIDIA、NVIDIA Jetson 邊緣 AI、單板電腦(SBC)、科技產品開箱與評測、科技趨勢與新知,並標記advantech、AGX Orin、JETOSN、Jetson Orin、深度攝影機。

相關文章 📎

建立不上網的私人大型AI模型,規劃工作站時要注意的事

2026-11-16

研華 AFE-R750 Robotic Suite 教學:安裝設定與 Isaac ROS 範例

2026-09-15

研華 MIC-711-OX4A3 SSD 系統安裝教學:Jetson Orin NX BSP 刷機

2026-09-08

RealSense D457 × AVerMedia SenseEdge 教學:韌體更新與 AI 距離偵測

2026-08-10

留言 💬 (0)

還沒有留言,來當第一個。