571
社区成员
发帖
与我相关
我的任务
分享在对仪表进行质量检测的过程中,往往需要人工对仪表内容进行识别和记录。如果能用机器视觉代替人工,使用一套自动化的系统,对仪表内容进行检测和识别,辅以人工的监督和干预,则能在一定程度上降低人力投入和成本,提高质量检测的效率。
研究图像识别 + NLP 结合的 OCR 技术(光学字符识别:利用光学技术和计算机技术把印刷体或手写体文字进行读取识别,转化成计算机和人都能够识读的格式),在 PC 平台完成仪表检测场景中的区域检测、特征提取、字符识别、检测报表生成等功能开发,涉及深度学习模型定义、训练和部署。
主要有以下 3 个检测场景:
仪表示数检测:常规场景,直接对仪表数据进行采集,根据输入的图片,前端对图像进行分割,检测出数码管和指示灯的位置,通过不同的模型进行识别,需要完成数码管和指示灯同时识别。
仪表EMC检测:给被测仪表电磁干扰,需要完成对仪表示数以及指示灯状态是否跳变的异常检测功能,只需判断异常,不需要识别读数,检测到异常时截取异常帧,并以时间戳来命名快照,方便用户查看异常情况。
(EMC场景较为特殊,由于需要静电屏蔽,无法直接对仪表进行识别,而是由EMC环境内的专用摄像头传出监控画面,识别设备再对监控器显示的画面进行识别)
风量仪标定检测:识别风量仪示数以及电脑屏幕对应区域标准值,根据数据生成报表,需要完成中英文的文字识别功能。
预期功能:
实验终端:负责视频采集,处理视频流及异常的上报,这里可以是专用客户端,比如Python生成的专用程序,以支持选框、启停控制等。
服务器:负责视频流和报告的保存、查询等,报告存入数据库,视频则需搭建视频流服务器来完成推流的功能。
其他客户端:仅通过web方式登录系统,浏览查看各视频和报告。
系统用户端用例图:
用户可在三种检测场景中进行选择:仪表检测场景;EMC场景;风量仪识别场景。
系统管理员用例图:
使用卷积神经网络训练模型,完成字符识别(由于数码管字体大多较为标准,深度学习训练的模型识别准确率较高)。
前后端交互数据流图如下:
meters表字段:
正常和异常信息存储表字段:
前端可以请求访问异常图片的图像信息、识别结果、时间戳等信息。提供异常回显功能。
1)完成在嵌入式平台中的移植,比较并分析模型推理环节的精度、时间消耗、内存占用等指标,完成其在嵌入式终端中的性能优化;
2)系统操作简洁易懂,方便使用人员学习和使用;
3)实时性:实时视频流与读数结果相隔不超过500ms;
4)准确率:对标准识别情况下,保证最终识别成功的数量的概率在95%以上。
| 操作系统 | Windows10, Ubuntu20.04 |
| 前端 | Html, Css, JavaScript, Vue.js |
| 后端 | Python, C/C++, Flask |
| 数据库 | MySQL |
| 深度学习框架 | Pytorch, Tensorflow |
| 其他 | Socket.io, Git, OpenCV, FFmpeg |
作者:145