使用OpenVINO加速Pytorch表情识别模型

gloomyfish 图像算法工程师  2020-10-16 11:05:17
关于模型
OpenVINO自带的表情识别模型是Caffe版本的,这里使用的模型是前面一篇文章中训练生成的pytorch全卷积网络,模型基于残差网络结构全卷积分类网络。
输入格式:NCHW=1x3x64x64
输出格式:NCHW=1x8x1x1
支持八种表情识别,列表如下:
["neutral","anger","disdain","disgust","fear","happy",
"sadness","surprise"]

转ONNX
训练好的Pytorch模型可以保存为pt文件,通过pytorch自带的脚本可以转换为ONNX模型,这一步的转换脚本如下:
dummy_input = torch.randn(1, 3, 64, 64, device='cuda')
model = torch.load("./face_emotions_model.pt")
output = model(dummy_input)
model.eval()
model.cuda()
torch.onnx.export(model, dummy_input, "face_emotions_model.onnx", output_names={"output"}, verbose=True)

OpenCV DNN调用ONNX模型测试
转换为ONNX格式的模型,是可以通过OpenCV DNN模块直接调用的,调用方式如下:
 landmark_net = cv.dnn.readNetFromONNX("landmarks_cnn.onnx")
image = cv.imread("D:/facedb/test/464.jpg")
cv.imshow("input", image)
h, w, c = image.shape
blob = cv.dnn.blobFromImage(image, 0.00392, (64, 64), (0.5, 0.5, 0.5), False) / 0.5
print(blob)
landmark_net.setInput(blob)
lm_pts = landmark_net.forward()
print(lm_pts)
for x, y in lm_pts:
print(x, y)
x1 = x * w
y1 = y * h
cv.circle(image, (np.int32(x1), np.int32(y1)), 2, (0, 0, 255), 2, 8, 0)
cv.imshow("人脸五点检测", image)
cv.imwrite("D:/landmark_det_result.png", image)
cv.waitKey(0)
cv.destroyAllWindows()

运行结果如下:

ONNX转IR
如何把ONNX文件转换OpenVINO的IR文件?答案是借助OpenVINO的模型优化器组件工具,OpenVINO的模型优化器组件工具支持常见的Pytorch预训练模型与torchvision迁移训练模型的转换,

要转换ONNX到IR,首先需要安装ONNX组件支持,直接运行OpenVINO预安装脚本即可获得支持,截图如下:

然后执行下面的转换脚本即可:

不用怀疑了,转换成功!

加速推理
使用OpenVINO的Inference Engine加速推理,对得到的模型通过OpenVINO安装包自带的OpenCV DNN完成调用,设置加速推理引擎为Inference Engine,这部分的代码如下:
dnn::Net emtion_net = readNetFromModelOptimizer(emotion_xml, emotion_bin);
emtion_net.setPreferableTarget(DNN_TARGET_CPU);
emtion_net.setPreferableBackend(DNN_BACKEND_INFERENCE_ENGINE);

其中readNetFromModelOptimizer表示使用OpenVINO模型优化器来加载文件,并使用inference engine执行加速推理。
执行推理与输出解析,得到表情分类的结果,代码如下:
 Rect box(x1, y1, x2 - x1, y2 - y1);
Mat roi = frame(box);
Mat face_blob = blobFromImage(roi, 0.00392, Size(64, 64), Scalar(0.5, 0.5, 0.5), false, false);
emtion_net.setInput(face_blob);
Mat probs = emtion_net.forward();
int index = 0;
float max = -1;
for (int i = 0; i < 8; i++) {
const float *scores = probs.ptr<float>(0, i, 0);
float score = scores[0];
if (max < score) {
max = score;
index = i;
}
}
rectangle(frame, box, Scalar(0, 255, 0));

最终的运行结果如下图:
...全文
1750 点赞 收藏 回复
写回复
回复
切换为时间正序
请发表友善的回复…
发表回复

还没有回复,快来抢沙发~

相关推荐
发帖
英特尔边缘计算技术
创建于2007-08-27

450

社区成员

英特尔® 边缘计算,聚焦于边缘计算、AI、IoT等领域,为开发者提供丰富的开发资源、创新技术、解决方案与行业活动。
申请成为版主
帖子事件
创建了帖子
2020-10-16 11:05
社区公告
暂无公告