本篇文章將透過OpenVINO，將TensorFlow訓練好的模型執行於Intel Movidius NCS2上，提高樹莓派車視覺辨識的推論速度。

本次範例使用的硬體裝有：

• RK-自走車套件
• Intel Movidius2
• RaspberryPi3 Plus
• 16G SD卡
• Logitech C170 Webcam

在樹莓派安裝OpenVINO

Step1、準備樹莓派，並灌好Raspbian作業系統。

您可以在去樹莓派的官網下載最新的映像檔(https://www.raspberrypi.org/downloads/raspbian/) ，也可以使用我們準備的映像檔(連結)，燒錄到SD卡中來開機。如果您使用的是”RK-樹莓派神經網路自走車套件”，可以直接開啟終端機下載套件包。

Step2：樹莓派開機，接上網路，打開終端機（Terminal）

樹莓派可以接上螢幕、鍵盤、滑鼠，也可以使用遠端桌面連線開啟終端機

Step3、輸入以下指令下載OpenVINO套件包

請注意，隨著版本更新，套件包的版號也會改變，本範例所使用的版本為”2018.5.445″。

cd $HOME
wget　https://download.01.org/openvinotoolkit/2018_R5/packages/l_openvino_toolkit_ie_p_2018.5.445.tgz

Step4：解壓縮套件包

tar -xvf l_openvino_toolkit_ie_p_2018.5.445.tgz

解壓縮完成後，您將會看到有一個資料夾”inference_engine_vpu_arm”出現在加目錄當中

Step5：接下來執行以下的指令

修改setupvars.sh中的參數，待會設定環境參數實會用到。

sed -i "s|<INSTALLDIR>|$(pwd)/inference_engine_vpu_arm|" inference_engine_vpu_arm/bin/setupvars.sh

Step6： 環境參數設定

輸入以下的指令來啟動自動設定OpenVINO的環境參數。

echo "source $HOME/inference_engine_vpu_arm/bin/setupvars.sh" >> $HOME/.bashrc

第一次設定完，請重新登入一次shell或者是重新打開終端機才會生效。

bash

成功啟動環境的話，您將會看到”[setupvars.sh] OpenVINO environment initialized”的字樣。

Step7：設定USB Rules

為了使樹莓派能夠認得NCS，必須再額外設定USB Rules將現在的使用者加入users的群組

sudo usermod -a -G users "$(whoami)"

加入完成後，並須登出後再重新登入。

logout

安裝udev rules

./inference_engine_vpu_arm/install_dependencies/install_NCS_udev_rules.sh

當終端機出現 “[setupvars.sh] OpenVINO environment initialized”時，表示您已經在樹莓派上成功安裝OpenVINO了，此版本的OpenVINO只有Inference Engine而已，只能做辨識。 為了要能夠將訓練完的模型編譯成NCS看得懂的格式，我們必須在電腦上安裝完整版的OpenVINO Toolkit，相關資料補充於本文章的附註中。

在樹莓派上執行OpenVINO-方向牌辨識

Step1：在樹莓派下載Movidius2執行程式

請到CAVEDU的Github上下載路牌分類的程式碼

https://github.com/cavedunissin/raspberrypi3_openvino

也可以在樹莓派上使用git指令下載

git clone https://github.com/cavedunissin/raspberrypi3_openvino

本範例使用 TensorFlow 訓練模型，下圖為dataset編排結構，如日後要使用同一個模型自行訓練資料，資料目錄請依照下面方式編排。訓練用圖片分類成 left、right、stop 目錄，非上述三類放置在 other目錄。測試資料置於 test 目錄

Step2：將樹莓派接上攝影機、Movidius2

下圖是RK -樹莓派神經網路自走車套件，大家也可以趁這個時候，為樹莓派接上馬達、馬達驅動板，並為馬達接上額外供電。

Step3：使用預錄好的影片來測試訓練過的模型。

在openvino_model\tensorflow_model目錄中有TensorFlow訓練過的結果，必須將該結果透過OpenVINO轉換為可支援Movidius2的檔案，可以先使用\openvino_model\movidius2_model目錄中轉換完成的檔案。

移到指定資料夾：

cd ~/raspberrypi3_openvino/openvino_code

執行程式（無輸出影像畫面，執行速度較快）：

python3 ./movidius_video.py --model-file ../openvino_model/movidius2_model/saved_model.xml --weights-file ../openvino_model/movidius2_model/saved_model.bin --video-type file --source ../sample_video/example_1.mp4

以下是跑出來的測試結果，辨識一幀圖片大概需要花0.014秒左右

如果想要看到實際的畫面的話，可以在指令的尾端加上–gui。

執行程式（有輸出影像畫面，執行速度較慢）：

python3 ./movidius_video.py --model-file ../openvino_model/movidius2_model/saved_model.xml --weights-file ../openvino_model/movidius2_model/saved_model.bin --video-type file --source ../sample_video/example_1.mp4 --gui

FAQ：

Q1：可以用本範例來辨識攝影機的影像嗎？

A1：可以的，一樣使用上面的指令，但是就不指定為使用影片檔。

python3 ./movidius_video.py --model-file ../openvino_model/movidius2_model/saved_model.xml --weights-file ../openvino_model/movidius2_model/saved_model.bin --gui

Q2： 那如果我有一台自走車，上面有馬達跟攝影機，該怎麼跑這個範例讓機器人動起來？

A2：以我們之前上課的機器人套件為例，可以執行以下的指令來讓機器人根據攝影機的影像來判斷交通號誌，並且控制馬達做出對應的動作，例如轉彎、前進、停止等。

python3 ./movidius_car.py --model-file ../openvino_model/movidius2_model/saved_model.xml --weights-file ../openvino_model/movidius2_model/saved_model.bin

Q3：那如果我有自己的資料然後想要自己訓練模型呢？

A3：這個問題比較複雜，首先樹莓派本身並沒有足夠的算力可以做深度學習的訓練， 所以我們會建議找一台電腦來做訓練這件事情。

關於訓練模型，首先我們必須在電腦上先安裝好python及tensorflow的環境， 然後執行以下的指令來做訓練。

其中，model-base-dir代表訓練完的模型要放在哪裡，data-dir則代表訓練用的資料集的位置。

python3 ./train_tensorflow_model.py --model-base-dir openvino_model --data-dir $HOME/dataset

因為我們在樹莓派上面安裝的OpenVINO只有Inference Engine而已，只能做辨識而已。 為了要能夠將訓練完的模型編譯成NCS看得懂的格式，我們必須在電腦上安裝完整版的OpenVINO Toolkit。

詳細的安裝說明，請參考Intel官方的安裝教學:

Windows（https://software.intel.com/en-us/articles/OpenVINO-Install-Windows）

Linux（https://software.intel.com/en-us/articles/OpenVINO-Install-Linux）

中文版安裝教學

Windows（https://blog.cavedu.com/?s=openvino）

路徑中的 XXXXXXXXXX 請依據實際路徑填寫全部都是數字。指令完成時會輸出 `movidius2_model` 目錄

mo_tf.py --saved_model_dir tf_model/XXXXXXXXXX \
         --output_dir movidius2_model \
         --input_shape "[1,48,48,3]" \
         --input input_image \
         --output probabilities \
         --data_type FP16

Q4：請問第一代Movidius是否支援OpenVINO？

A4：OpenVINO目前不支援第一代Movidius，如果手上只有第一代的Movidiuss，可以參考書籍<實戰AI資料導向式學習｜Raspberry Pi╳深度學習╳視覺辨識>