前言
本文為 ZED 景深攝影機原廠範例，共有八個範例，請根據 ZED 的範例程式頁面，取得 C++ / Python / C# 等範例原始碼。說明如下：
- Hello ZED: 入門範例，說明如何連接 ZED 攝影機，並於終端機中顯示裝置序列編號。
- Image Capture: 開啟 ZED 攝影機，取得影像，並於終端機中顯示時間戳記、影像尺寸。
- Depth Perception: 取得畫面的深度資料與點雲，並於終端機中顯示指定點的距離。
- Camera Tracking: 啟用位置追蹤，可即時更新攝影機的位置與指向。
- Spatial Mapping: 啟用地圖繪製，可擷取環境的網格或融合點雲。
- 3D Object Detection: 偵測畫面中的物體，並進行 3D 定位 （只適用於 ZED 2 機型）。
- Using Sensors: 取得攝影機的 IMU、氣壓計與磁力感測器資料。
- Body Tracking: 追蹤人體骨架
範例08 – 人體追蹤
本範例將說明如何使用 ZED 3D 攝影機的人體追蹤模組(ZED Body Tracking module)來偵測與追蹤人體。
以下關節編號圖片來自 ZED 原廠文件：，分別為 34 點姿勢(POSE_34)以及 18 點姿勢 (POSE_18)
前置作業
- 下載最新版的 ZED SDK （請點我）
- 下載 Image Capture 範例程式，提供 C++, Python 與 C# 等版本
- 在 Windows 或 Linux OS上，建置 C++ 環境(請點我) 或執行 Python 範例，本系列文章將使用 Python （教學請點我）
程式總覽
開啟攝影機
本範例會用到 ZED SDK 中的 Body Tracking AI 模組。如先前所有範例，首先要建立、設定與開啟攝影機。
[pastacode lang=”python” manual=”%23%20Create%20ZED%20objects%0Azed%20%3D%20sl.Camera()%0Ainit_params%20%3D%20sl.InitParameters()%0Ainit_params.camera_resolution%20%3D%20sl.RESOLUTION.HD720%0Ainit_params.depth_mode%20%3D%20sl.DEPTH_MODE.ULTRA%0Ainit_params.sdk_verbose%20%3D%20True%0A%0A%23%20Open%20the%20camera%0Aerr%20%3D%20zed.open(init_params)%0Aif%20err%20!%3D%20sl.ERROR_CODE.SUCCESS%3A%0A%20%20%20%20%23%20Quit%20if%20an%20error%20occurred%0A%20%20%20%20exit()” message=”open the camera” highlight=”” provider=”manual”/]
啟用 3D 物件偵測
首先要啟用 Object Detection 模組才能執行人體追蹤。別忘了要先設定該模組的 ObjectDetectionParameters 才能啟用物件偵測功能喔 （詳細作法請回顧範例06物件偵測）。請注意物件追蹤也須用到位置追蹤功能才能在世界參考坐標中來追蹤想要的物件。
[pastacode lang=”python” manual=”%23%20Define%20the%20Object%20Detection%20module%20parameters%0Aobj_param%20%3D%20sl.ObjectDetectionParameters()%0A%23%20Different%20model%20can%20be%20chosen%2C%20optimizing%20the%20runtime%20or%20the%20accuracy%0Aobj_param.detection_model%20%3D%20sl.DETECTION_MODEL.HUMAN_BODY_FAST%0A%23%20run%20detection%20for%20every%20Camera%20grab%0Aobj_param.image_sync%20%3D%20True%0A%23%20Enable%20tracking%20to%20detect%20objects%20across%20time%20and%20space%0Aobj_param.enable_tracking%20%3D%20True%0A%23%20Optimize%20the%20person%20joints%20position%2C%20requires%20more%20computations%0Aobj_param.enable_body_fitting%20%3D%20True%0A%0A%23%20If%20you%20want%20to%20have%20object%20tracking%20you%20need%20to%20enable%20positional%20tracking%20first%0Aif%20obj_param.enable_tracking%3A%0A%20%20%20%20positional_tracking_param%20%3D%20sl.PositionalTrackingParameters()%0A%20%20%20%20zed.enable_positional_tracking(positional_tracking_param)” message=”enable body tracking” highlight=”” provider=”manual”/]
啟用物件偵測時會一併載入 AI 模型，這項操作需要幾秒鐘。首次使用 AI 模型時，模型會根據您的硬體進行大約數分鐘的最佳化作業，不過別擔心，這個神經網路模型最佳化作業只要執行一次就好。
[pastacode lang=”python” manual=”print(%22Object%20Detection%3A%20Loading%20Module…%22)%0Aerr%20%3D%20zed.enable_object_detection(obj_param)%0Aif%20err%20!%3D%20sl.ERROR_CODE.SUCCESS%3A%0A%20%20%20%20print(repr(err))%0A%20%20%20%20zed.close()%0A%20%20%20%20exit(1)” message=”start module and load AI model” highlight=”” provider=”manual”/]
擷取資料
物件偵測的信心閾值可於執行過程中隨時調整，讓您可根據場景複雜度來選擇是否只要偵測最相關的人體骨架。由於相關參數已被設為 image_sync，因此對於每次 grab 呼叫來說， 影像都會被送進 AI 模組並輸出個畫面的偵測結果。
[pastacode lang=”python” manual=”%23%20Set%20runtime%20parameter%20confidence%20to%2040%0Aobj_runtime_param%20%3D%20sl.ObjectDetectionRuntimeParameters()%0Aobj_runtime_param.detection_confidence_threshold%20%3D%2040%0A%0Aobjects%20%3D%20sl.Objects()%0A%0A%23%20Grab%20new%20frames%20and%20detect%20objects%0Awhile%20zed.grab()%20%3D%3D%20sl.ERROR_CODE.SUCCESS%3A%0A%20%20%20%20err%20%3D%20zed.retrieve_objects(objects%2C%20obj_runtime_param)%0A%0A%20%20%20%20if%20objects.is_new%3A%0A%20%20%20%20%20%20%20%20%23%20Count%20the%20number%20of%20objects%20detected%0A%20%20%20%20%20%20%20%20obj_array%20%3D%20objects.object_list%0A%20%20%20%20%20%20%20%20print(str(len(obj_array))%20%2B%20%22%20Person(s)%20detected%5Cn%22)%0A%0A%20%20%20%20%20%20%20%20if%20len(obj_array)%20%3E%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20first_object%20%3D%20objects.object_list%5B0%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Display%20the%203D%20keypoint%20coordinates%20of%20the%20first%20detected%20person%0A%20%20%20%20%20%20%20%20%20%20%20%20print(%22%5Cn%20Keypoint%203D%20%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20keypoint%20%3D%20first_object.keypoint%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20it%20in%20keypoint%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20print(%22%20%20%20%20%22%20%2B%20str(it))” message=”capture data” highlight=”” provider=”manual”/]
停用模組並離開程式
程式結束時，會一併停用模組並關閉攝影機。由於 zed.close() 會負責停用所有模組，因此這個步驟並非必要。有必要的話，也可透過 destructor 自動呼叫close() 函式。
大功告成！
下一步
如果想知道如何偵測場景中的人體並將其 3D 骨架顯示於即時影像上（如本文開頭影片），請參考 3D Object Detection 進階範例。
註：本文經授權之後翻譯自 https://www.stereolabs.com/docs/tutorials/body-tracking/
Post Views: 534
