导航
  • 主页
  • HaaS开发板
  • HaaS解决方案

物联网视觉技术及应用

HaaS技术社区 2021-07-15 15:17:37

物联网技术不断发展,已经从单纯地强调连接,更多地强调多场景的支持。出现了越来越多带有视觉能力的智能硬件,包括智能门锁,智能猫眼,86智能面板,带屏智能中控,网络摄像头等。

这些智能设备基本都会带有摄像头功能,作为“眼睛”。摄像头采集了图像数据后,会进行处理。处理流程可以抽象出视觉技术的数据处理流程首先是数据采集,然后是数据处理,最后是数据显示。

 

图像数据的采集


数据采集通过摄像头完成。摄像头的硬件主要包括ISP,sensor和镜头。Sensor负责采集图像,ISP通过3A算法完成图像的处理得到YUV格式的图像数据。得到原始的图像数据后,通过编码技术获得编码后的图像数据。视频流使用H.264和H.265进行编码,图片使用MJPEG进行编码。编码后的图像数据由于体积更小,便于数据存储和传输。编码过程可以通过软件完成,或者专用硬件完成。专门用于图像处理的ISP芯片通常都具有硬件编解码能力。带有硬件编解码能力能够获得更好地性能

图像压缩标准,可以分为视频编码和静态图像编码。编码技术是一种压缩技术,将原始格式的图像数据转换成另外一种格式,便于网络传输和存储。目前使用频率最高的视频编码技术是H.264和H.265,静态图像编码技术是MJPEG。

H.264和H.265是有ITU(国际电传视讯联盟)主导,用于网络视频传输的编码技术。主要用于实时视频通信领域。如今广泛使用的视频压缩标准包括H.264和H.265。H.265具有更灵活的编码机制(包括编码单元,预测单元和转换单位),相比于H.264支持更高的分辨率,更高的压缩率和更高质量的编码标准。同样质量的视频编码能够节省40%到50%的码流。

MJPEG是一种基于静态图像压缩技术JPEG发展的动态图像压缩技术。MJPEG的主要缺点是压缩率相比于H.264和H.265要低。MJPEG每一帧都是JPEG编码,不考虑视频流帧之间的变化,只对每一帧单独进行编码。这个特点使得MJPEG的压缩率低,同时使得它适合于静态图像数据的采集。

 

图像数据的处理


图像数据采集和编码完成后,主要会有两种处理,一种是使用流式媒体协议推送图像数据,另外一种是使用AI技术对数据进行深度学习和分析。

流媒体协议主要包括了RTSP,RTMP,还有P2P协议。这些协议将图像数据在智能硬件,手机和云端之间推送,实现图像数据的预览,云端存储等。

RTMP(Real Time Messaging Protocol)是由Adobe公司提出的私有流媒体协议,基于TCP协议实现的实时消息传输协议,主要用在了视频直播等场景。RTMP通常维护一个TCP连接,用于传输命令和数据。它的主要特点是时延低。目前由于RTMP延迟低,易用,并且和常用富媒体工具的结合,视频直播和CDN推拉流基本都是采用RTMP。

RTSP(Real Time Streaming Protocol)是一种流媒体协议。通常维护2-3个TCP连接,分别传输数据和命令。它主要定义了控制命令,包括了setup,play,pause,teardown等。数据传输直接依赖于TCP或者UDP,也有基于HTTP的RTSP over HTTP。由于RTSP并没有被Flash支持,在浏览器中使用需要安装插件,使用上不如RTMP方便。同时由于NAT的广泛使用,导致使用UDP传输的视频数据会被block。由于上述一些原因,虽然RTSP的实时性相比于RTMP要好一些,RTSP的流行程度并没有RTMP那么高。

P2P技术是点对点的穿透技术,可以实现摄像头和手机之间点到点的视频拉流,优势是节省服务器带宽,降低成本。实际部署网络中,无法实现具有IP地址之间直接通信的主要原因是大多数主机的IP地址都是在防火墙或者NAT之后,只有少部分主机能够直接接入Internet。所以需要网络穿透技术完成智能设备之间的直连。网络穿透技术主要有STUN(Simple Traversal of User Datagram Protocol Through Network Address Translation),TURN(Traversal Using Relays around NAT)和ICE(Interactive Connectivity Establishment)。目前,由于网络的复杂性,P2P的穿透率大约是50%。

AI人工智能,完成图像数据采集和传输后,图像数据的后向处理主要是图像识别等AI处理。视觉AI处理以卷积神经网络为核心,发展出来了各种模型。CNN 在图像分类和目标检测方面优势的表现,它已成为计算机视觉和视觉跟踪的主流深度学习模型。当智能设备自带硬件加速功能时,图像数据处理模型会在智能设备本地运行得到结果。当没有硬件加速,或者CPU/MCU处理速度不够支撑模型分析时,可以使用云端算法。

 

物联网多媒体技术框架


物联网领域很多芯片厂商都会在系统上定义一套自己的多媒体框架,到目前为止并没有一个统一的架构。使用非常广泛的多媒体框架是OpenMAX(Open Media Acceleration)。OpenMAX是跨平台可移植的多媒体框架,可以加速多媒体应用程序的开发。OpenMAX分为三层:

应用层(Application Layer),提供应用程序和多媒体框架之间的标准接口
集成层(Integration Layer),定义了多媒体框架层和各种多媒体组件之间的标准接口
开发层(Development Layer),提供软件和物理硬件和物理硬件之间的标准接口
主要提供的APIs包括视频,音频和静态图像。除了框架和标准化接口外,最主要的功能包括Buffer在音视频流过程中的管理。通过使用多媒体技术框架可以极大地加速开发的进度。

 

视觉技术应用及关键能力


物联网视觉技术主要用于IP Camera,智能门禁,猫眼,智能面板和带屏智能瘦终端等。其中的关键技术能力包括了视频云服务,可视对讲服务,及AI能力等。

视频云服务主要是在智能设备上实现音视频数据的传输,让用户可以实时进行音视频通话,或者拉取音视频数据码流。技术上可以抽象为三个通道,第一个是用于传输控制命令的信令通道,第二个是传输音视频的数据通道,第三个是数据传输的控制通道。典型的应用场景有摄像头采集视频码流后,在手机端预览实时画面;手机和智能手表之间实时音视频通话;智能楼宇对讲系统等。

 

...全文
854 2 收藏 回复
写回复
回复
切换为时间正序
请发表友善的回复…
发表回复

还没有回复,快来抢沙发~

发动态
发帖子
HaaS技术社区
创建于2021-03-08

39

社区成员

HaaS开发者技术社区,让天下没有难做的万物互联智能硬件,分享物联网行业知识
社区公告
HaaS开发者技术社区,让天下没有难做的万物互联智能硬件 HaaS(Hardware as a Servie)是一种物联网设备云端一体开发框架,通过数量收敛的硬件积木(比如主控板:HaaS100,树莓派,wifi+BT模组;比如各种认证的传感器)和丰富、标准的软件积木(包括各种组件、云端服务以及钉钉小程序公版)持续降低物联网开发门槛,让用户(包括c/c++,JS,Python用户)可以快速用已有的软硬件积木搭建应用。