OpenVINO 2020版本 - GPU推理性能有惊喜

[英特尔开发人员专区]

直接上2019R3和2020R2的性能对比，

测试平台

Intel i5-7440HQ,
Win10 1709
GPU驱动 26.20.100.7812 发布日期1/21/2020
利用OV自带的benchmark测试,测2种情况

最小延迟 (尽可能快的处理单幅图片)
benchmark_app.exe -nireq 1 -nstreams 1 -b 1 -m mobilenetV3\[FP16|FP32]\v3-large_224_1.0_float.xml -d [GPU|CPU]


最大吞吐率throughput (尽可能多的处理图片）
benchmark_app.exe -m mobilenetV3\[FP16|FP32]\v3-large_224_1.0_float.xml -d [GPU|CPU]


测试模型 mobilenetv3-large_224_1.0_float



测试模型 sqeezenet1.1


个人用OpenVINO 2020的感觉

CPU推理部分速度没有太明显的提高，但是GPU推理部分应该是改动很大，测试了mobilenetv3和squeezenet1.1, 感觉对GPU推理底层的clDNN的部分真的是花了一些力气去优化。
用OpenVINO 2020版GPU做推理，如果发现加载网络或者推理时候报错，可以考虑一下升级GPU的驱动，我原来的驱动是2019年3月的版本，做FP16推理时候加载报错。升级最新驱动就好了 :)
有利用集成显卡做推理的同学可以尝试一下2020版本，也许有惊喜 :)
OpenVINO2020r2版本开始支持GPU INT8推理了，但是能否在我的老7代CPU的HD630上跑还不清楚，INT8的转换工具改成POT了，还在摸索中...

[dv_zheng]

6666666666666666

[dv_zheng]

66666666666666