前言

前幾天加了兩個Openvino群，準備請教一下關于Openvino對YOLOv3-tiny的int8量化怎么做的，沒有得到想要的答案。但缺發現有那么多人Openvino并沒有用好，都是在網絡上找資料，我百度了一下中文似乎沒有靠譜的目標檢測算法的部署資料，實際上這個并不難，用官方提供的例子改一改就可以出來。所以我答應了幾個同學寫一個部署流程希望對想使用Openvino部署YOLOv3-tiny(其他目標檢測算法類推)到cpu或者Intel神經棒上(1代或者2代)都是可以的。

YOLOv3-tiny模型訓練

這部分我就不過多介紹了，我使用的是AlexeyAB版本darknet訓練的YOLOv3-tiny模型(地址見附錄)，得到想要的weights文件，并調用命令測試圖片的檢測效果無誤。

Darknet模型轉pb模型

• 克隆OpenVINO-YoloV3 工程，完整地址見附錄。
• 修改工程下面的coco.names改成和自己訓練的時候一樣。
• 確保你要使用的python環境有tensorflow版本，1.8和1.9應該都沒什么問題。
• 執行：

python3 convert_weights_pb.py
--class_names voc.names
--weights_file yolov3_tiny_200000.weights
--data_format NHWC
--tiny --output_graph frozen_tiny_yolo_v3.pb

• 不出意外會在你的OpenVINO-YoloV3文件下生成了frozen_tiny_yolo_v3.pb文件，這個文件就是我們需要的pb文件。

在Windows上將pb文件轉換為IR模型

我這里使用了OpenVINO2019.1.087，只要OpenVINO某個版本里面extension模塊包含了YOLORegion Layer應該都是可以的。轉換步驟如下：

• 拷貝frozen_tiny_yolo_v3.pb到OpenVINO所在的     F:\IntelSWTools\openvino_2019.1.087\deployment_tools\model_optimizer文件夾下，注意這個文件夾是我安裝OpenVINO的路徑，自行修改一下即可。
• 新建一個yolov3-tiny.json文件，放在     F:\IntelSWTools\openvino_2019.1.087\deployment_tools\model_optimizer文件夾下。內容是，注意一下里面classes是你的數據集中目標類別數：

[
  {
    "id": "TFYOLOV3",
    "match_kind": "general",
    "custom_attributes": {
      "classes": 3,
      "coords": 4,
      "num": 6,
      "mask": [0,1,2],
      
      "anchors":[10,14,23,27,37,58,81,82,135,169,344,319],
      "entry_points": ["detector/yolo-v3-tiny/Reshape","detector/yolo-v3-tiny/Reshape_4"]
    }
  }
]

• 在     F:\IntelSWTools\openvino_2019.1.087\deployment_tools\model_optimizer文件夾下，執行下面的命令來完成pb文件到OpenVINO的IR文件轉換過程。

python mo_tf.py --input_model frozen_darknet_yolov3_model.pb
--tensorflow_use_custom_operations_config yolo_v3_tiny.json
--input_shape=[1,416,416,3]  --data_type=FP32

• 不出意外的話就可以獲得     frozen_darknet_yolov3_model.bin和     frozen_darknet_yolov3_model.xml了。

利用VS2015配合OpenVINO完成YOLOv3-tiny的前向推理

因為yolov3-tiny里面的yoloRegion Layer層是openvino的擴展層，所以在vs2015配置lib和include文件夾的時候需要把cpu_extension.lib和extension文件夾加進來。最后include和lib文件夾分別有的文件如下：

• include文件夾：    
• lib文件夾：

其中cpu_extension.lib在安裝了OpenVINO之后可能是沒有的，這時候就需要手動編譯一下。這個過程很簡單，我在后邊放了一個鏈接講得很清楚了。

把include和lib配置好之后就可以編寫代碼進行預測了。代碼只需要在OpenVINO-YoloV3工程的cpp目錄下提供的main.cpp稍微改改就可以了。因為我這里使用的不是原始的Darknet，而是AlexeyAB版本的darknet，所以圖像resize到416的時候是直接resize而不是letter box的方式。具體來說修改部分的代碼為：然后除了這個地方，由于使用的YOLOv3-tiny，OpenVINO-YoloV3里面的cpp默認使用的是YOLOv3的Anchor，所以Anchor也對應修改一下：

這兩個地方改完之后就可以順利完成前向推理過程了，經過我的測試，相比于原始的darknet測試結果在小數點后兩位開始出現差距，從我在幾千張圖片的測試結果來看，精度差距在1/1000到1/500，完全是可以接受的。

注意github上面的cpp那些打印信息都是沒有必要可以注釋掉，然后異步策略在測試時候也可以選擇不用，我改好了一個可以直接運行的cpp。