Github主页-openvinotoolkit

1 找到安装文档。。。

看了一下，目前中文比较写的全应该是这个人的博客：
windows10 64位 OpenVINO安装教程：巨长。。

正道的光是这里：
OpenVINO的部署和使用:感谢这位博主提供的openVINO的get started链接：Get Started
找也是可以找到的。

---

X 下面这部分不看
安装就很麻烦，半天在github上找不到安装指引。。。（和常规认知不太一样）
直接去英特尔中文官网
找搜索，搜索 OpenVINO

找找类似的，看着选几个点进去看看。
对我比较有用的应该是：
英特尔 Distribution of OpenVINO 工具套件 2020 版的发布说明

然后就非常愉快的看到了win10.。。。
可以点击上图里的 点击最佳选项 选择 系统类型, 去哪里下载, 在线/离线 等，然后登陆注册一下账号，下载。（ Distribution of OpenVINO 工具套件 2020 版的安装包差不多199MB。。。）

---

2 开始安装

稳一点，就不在win7上尝试了，就在win10上试试就好了。
本机环境
win10 教育版。。64位 之前安装过visual studio 2019，电脑上装有

Microsoft Visual C++ 2012 Redistributable(x64)-11.0.60610.1
Microsoft Visual C++ 2012 Redistributable(x86)-11.0.61030.0
Microsoft Visual C++ 2015-2019 Redistributable(x64)-14.27.29016.0
Microsoft Visual C++ 2015-2019 Redistributable(x86)-14.27.29016.0

根据Get Started

就根据打开的网页一步步来。

提示：

1. 所有的安装步骤都是需要的，除非有额外说明
2. 除了下载东西之外，还需要安装额外的依赖并进行编译工作

2.1 安装英特尔分布式OpenVINO工具包核心组件

安装英特尔分布式OpenVINO工具包核心组件(Intel Distribution of OpenVINO toolkit core components)
就在当前页，往下翻。。搜索安装步骤的英文就可以了

在选择下载版本时，涉及到windows/windows(FPGA)的选择，很明显，这是一个新产物，普通的电脑肯定就没有，PASS

操作系统选择：windows
发布选择：Web Download
安装类型选择：Online/Offline
然后页面右侧会显示 Register&Download注册下载的按钮（注册很简单，速度也还行），然后页面跳转到下载页面，选择版本，我下载时的最新版本是
2021.1 构建日期是2020.10.5
记录一下序列号吧，也许有用： C5RC-G3N7KPNW

版本选择问题，由于我最需要的是它文字识别OCR的功能，看了一下github上openvinotoolkit/open_model_zoo，

直接下载最新版就好了。

选了 Full Package，保存的文件名是类似w_openvino_toolkit_p_2021.1.110下载速度很快，162MB大概几秒就下完（公司网不错）。
双击exe安装。默认装在c盘下，而且会自动创建一个快捷方式（但是我的很奇怪，装在Download目录。。。自己手动改到和教程里一样的目录去了），选定目录（这里的目录是解压目录，不是这个软件的安装目录）后选择 Extract解压，弹出

解压完成后弹出：下面这个才是安装的目标目录

安装完后提示：
（大意就是 这些问题不会影响安装，但是建议安装完之后建议配好）

然后就等待安装就好了

可以看到，最后安装到的地方是这个C:\Program Files (x86)\Intel\openvino_2021.1.110(版本号)

2.2 安装刚刚缺失的依赖

建议先安装完依赖，再去配置环境变量。

2.2.1 CMAKE

参考:windows10 64位 OpenVINO安装教程：目录中的安装CMake * 3.4或更高版本部分

写的很清晰，照做就可以
https://cmake.org/download/

这里注意如果有旧版本需要先卸载旧版本（我没有，就直接安装了，哈哈）

安装的时候一定确保为所有用户添加系统路径（可以点上左下角创建桌面图标）

默认安装在C:\Program Files\CMake\

2.2.2 Python

参考:windows10 64位 OpenVINO安装教程：目录中的安装Python 3.6.5部分

去python官网
https://www.python.org/downloads/release/python-365/
或者直接去windows环境下载页面，
https://www.python.org/downloads/windows/：直接搜索3.6.5

下载可执行文件就好了，下载保存的文件名类似：python-3.6.5-amd64.exe。（之前安装过Anaconda…希望不会撞车，哈哈哈。）
稳定起见，先看一下目前的Path目录（anaconda是在用户的Path路径里，cmake是在系统的path路径里。）
把安装路径改到 C:\program files\python3.6.5 里去了 一定记得勾选 加入系统路径
但是这个系统路径也是在用户的路径下。

2.3 设置环境变量

在编译和运行OpenVINO应用程序之前，必须更新多个环境变量。打开命令提示符并运行以下批处理文件以临时设置环境变量

进入到刚刚OpenVINO的安装目录C:\Program Files (x86)\Intel\openvino_2021.1.110\bin
这个目录里本来也就只有这么一个bat文件，直接在命令行里运行。

（可选）：关闭“命令提示符”窗口时，将删除OpenVINO工具箱环境变量。作为选项，您可以手动永久设置环境变量。

打开那个bat文件看看就知道是干啥的了。。。算了，看起来略复杂，就是以后每次用这个OpenVINO都需要运行一下这个setupvars.bat了。。

2.4 安装Microsoft Visual Studio* with C++ 2019 or 2017 with MSBuild

这个我之前安装过，只用检查一下这个 MSBuild是个什么东西就就好了。
参考:windows10 64位 OpenVINO安装教程：安装带有C++和MSBuild的Microsoft Visual Studio *

还好我一直保留着vs2019的安装包。。。


搜一搜，确定自己安装了就行

2.5 配置模型优化器

2.5.1 一些简单的背景信息

Configure the Model Optimizer

提示：这些步骤都是必须的，至少需要为一个深度学习框架配置模型优化器（其余可以通过ONNX互相转换）。如果不完成以下所有步骤，模型优化器配置就会失败

注意：如果你确定自己已经安装了Python，但是还是出现了类似提示python没有安装的错误，这表明程序应该是没有找到python，去更新下系统变量中的路径，把python加进去。

参考：OpenVINO工具包-视觉智能与部署流程：

模型优化器是线下模型转换,是一个python脚本工具，用于将开源框架训练好的模型转化为推理引擎可以识别的中间表达，其实就是两个文件，xml和bin文件，前者是网络结构的描述，后者是权重文件。

推理引擎是部署在设备上运行的AI负载，是一个支持C++和python的一套API接口，需要开发人员自己实现推理过程的开发，开发流程其实非常的简单，核心流程如下：
1. 装载处理器的插件库
2. 读取网络结构和权重
3. 配置输入和输出参数
4. 装载模型
5. 创建推理请求
6. 准备输入Data
7. 推理
8. 结果处理

模型优化器是 Intel Distribution of OpenVINO toolkit的一个关键组件，无法推理没有经过模型优化器运行过的模型，当一个预训练模型经过模型优化器之后，输出就是这个网络的一个中间表示文件—— Intermediate Representation (IR)，这个IR呢由两个描述模型的文件组成：
9. .xml文件：描述网络拓扑结构
10. .bin文件：包含权重和偏差的二进制文件

推理引擎使用一个跨CPU/GPU或者VPU等硬件的公共API来读取，加载并推理IR文件（就是上图）

模型优化器是一个基于python命令行的工具mo.py，文件位置位于安装目录\deployment_tools\model_optimizer。目前支持的模型框架有：caffe、TensorFlow、MXNet、ONNX。可以把使用这些深度学习框架生成的模型转为成一个被模型优化器优化后的IR文件，然后被推理引擎使用。（可以看到，暂时没有pytorch，一般就是ONNX把pytorch的转了，再用。。。）

下面会介绍如何使用脚本来配置模型优化器，可以同时为所有深度学习框架配置，也可以一次只配置一个。如果想要手工配置代替脚本配置，可以参考 Configuring the Model Optimizer这个页面中的 Using Manual Configuration Process部分。

如果想要了解更多关于模型优化器的信息，可以参考 Model Optimizer Developer Guide

2.5.2 配置步骤

可以同时配置所有支持的深度学习框架，也可以一次只配置一个，选择适合自己的方式；如果提示错误信息，请确保自己之前已经安装了所有的依赖（依赖的环境变量/系统路径配置正确）

以下配置步骤要联网，如果使用了代理，确保它OK。

在以下步骤中：
+ 如果想在另一个版本的OpenVINO中使用模型优化器，只需要把要填version的地方， 把openvino_2021换成**openvino_**就好了。
+ 如果没有把OpenVINO安装在默认目录下，那么下面需要用到安装目录的地方自己你也要记得替换成自己的安装目录。

以下步骤都使用命令提示符，确保可以看到警告/错误信息。

2.5.3 配置tf2.0和ONNX

tf2.0

---

这里，我只配置TensorFlow和ONNX，所以不使用Option1（同时配置所有支持的环境）

cd到目录安装目录\deployment_tools\model_optimizer\install_prerequisites，执行

install_prerequisites_tf2.bat

这个就会安装到刚刚配置的python3.6.5的位置。。。（网要好一点，不然tf2.0安装老是报错）
关于首行的ECHO处于关闭状态，其实就是echo命令

期间报错：
failing building wheel for wrapt
参考win10 安装tensorflow 报错“ERROR: Failed building wheel for wrapt”解决办法：
解决办法：
1、下载对应python版本的wraptxxx.whl：https://www.lfd.uci.edu/~gohlke/pythonlibs/#wrapt
2、安装： pip install 刚刚下载whl文件绝对路径
报错

PermissionError: [WinError 5] 拒绝访问。: 'c:\\program files\\python3.6.5\\Lib\\site-packages\\wrapt' 

以管理员身份运行命令行（成功）
3、然后再重新安装tensorflow，成功。

有个很奇怪的问题，除了手动安装的wrapt文件是安在上面的python3.6.5目录，其余都是在C:\Users\lenovo\AppData\Roaming\Python\Python36\site-packages 这个位置。。环境变量是
手动挪一下好了，哈哈哈，试试，直接把这个文件夹里的移到我希望它在的目录，移动了之后再去运行install_prerequisites_tf2.bat，目录就已经正确了。。。所以这里应该有个搜索路径优先级的问题。而且很明显，AppData那个的路径优先级要高于我系统路径指定的Python3.6.5的优先级。
（可能也是电脑的问题，以后每次使用安装最好都使用管理员权限。。）

每次运行install_prerequisites_tf2.bat 都会在C:\Users\lenovo\AppData\Roaming\Python目录下产一个Python36文件夹，尝试管理员权限，pip安装了一个库，没有安装到AppData里，安装到陪python3.6.5，这样就不担心了。

---

ONNX

install_prerequisites_onnx.bat

2.5.4 运行图像分类脚本

提示：为了验证安装是否正确，进行这部分是必要的。

为了验证安装和编译两个部分，在CPU上运行提供的验证程序。

1. 打开一个命令行终端
2. 进入推理引擎的demo目录，类似C:\Program Files (x86)\Intel\openvino_2021\deployment_tools\demo\
   
3. 运行图像分类验证脚本
   要使用图像分类验证，首先需要运行demo_squeezenet_download_convert_run.bat脚本，来下载一个SqueezeNet模型，使用模型优化器把下载的模型转换为.bin和.xml这两个中间表示（IR）文件。推理引擎要求使用模型转换后的IR文件作为输入，来实现Intel硬件上的性能优化。验证程序会构建Image Classfication Sample Async(图像分类样本异步)程序，同时使用当前目录下的car.png来运行，关于中间表示文件的说明，可以参考 Configuring the Model Optimizer

下载模型之前，会安装pyml，先检查一些python包是否安装了。
pyyaml in c:\users\lenovo\appdata\roaming\python\python36\site-packages这里这个包位置又跑偏了。。。手动换一换。。

下载模型，模型没有下载到当前目录，而是下载到了其他目录
C:\Users\lenovo\Documents\Intel\OpenVINO\openvino_models\models\public\squeezenet1.1\squeezenet1.1.caffemodel

demo_squeezenet_download_convert_run.bat

执行上述命令后：

1. 下载缺失/需要的python库
2. 下载SqueezeNet模型
   
3. 安装刚刚第一步下载的python库
   
4. 运行模型优化器.
5. 使用cmake为推理引擎样本生成VS解决方案
   
   
6. 使用MSBuild.exe构建推理引擎样本
7. 运行推理引擎样本程序
   打印出一些相关信息，最后输出结果
   
   8.分类程序demo构建成功

2.5.5 运行推理管道验证脚本

demo_security_barrier_camera.bat

这个脚本会下载三个与训练模型IRs（和上一个验证程序的去别家iu在于，这个没有使用模型优化器转换，直接下载的就是IR文件），构建Security Barrier Camera Demo程序，使用demo目录下的car_1.bmp图片和下载的模型进行推理。（验证脚本使用车辆识别，由于车辆属性彼此相关，因此可以将这些相关的属性进行删减。）

首先，先找到一个汽车，识别到的汽车会作为下一个模型的输入，来识别汽车的特定属性，包括牌照等。最后，牌照这些属性被作为第三个模型的输入，第三个模型来进行牌照上的字符识别。

模型运行完成后，可以看到除了命令行窗口之外的另一个窗口，显示

关闭这个窗口终止demo程序

3. 简单使用

主要是OpenVINO提供的关于文字识别的两个demo，跑了一下。
参考另一个博客

---

参考链接:

• OpenVINO工具包-视觉智能与部署流程
• Openvino toolkit document
• openvino_docs_install_guides_installing_openvino_windows
• windows10 64位 OpenVINO安装教程
• OpenVINO 模型测试-模型从下载到转换到推理