高通骁龙助力手机QQ“高能舞室”实现人工智能

lee_larry 2017-12-21 09:51:59

近日，手机QQ正式推出“高能舞室”功能，该全新功能基于腾讯AI Lab计算机视觉中心独家支持的“肢体动作追踪”技术实现，并且结合了Qualcomm骁龙神经处理引擎（Snapdragon Neural Processing Engine，以下简称SNPE）SDK，将为年轻人社交提供更多个性化内容和用户体验。

　　手机QQ是国内备受年轻人欢迎、体量最大的移动互联网社交APP之一。2017年第三季度，QQ在智能移动终端的月活数量高达6.529亿。手机QQ“高能舞室”功能的实现是Qualcomm与腾讯在人工智能领域的首次合作，也是SNPE在中国互联网行业的首个成功应用。双方的合作实现了人工智能技术的入口轻量化，把人工智能支持的领先体验带到规模更大、更广泛的年轻用户群体中。

　　通过SNPE SDK，该功能可以直接运行手机上相应的人工智能神经网络，而无需在云端进行处理。具体来说，用户可以直接根据屏幕提示动作录制跳舞短视频，并通过QQ社交关系链分享互动舞蹈视频。Qualcomm SNPE为高能舞室提供了高性能和高能效的运行环境，将人体姿态估计识别的时间大大降低，用户可以享受更加流畅、有趣的舞蹈体验。

　　与在云端运行的人工智能相比，在终端侧运行人工智能算法具有诸多优势，如即时响应、可靠性提升、隐私保护增强，以及高效利用网络带宽等。为了让开发者和OEM厂商能更方便地在终端上利用异构计算，Qualcomm于2016年推出了SNPE，使OEM厂商以及应用开发者能在诸如智能手机、安全摄像头、汽车以及无人机等搭载骁龙的终端上运行它们自己的神经网络模型，且完全无须与云端相连，就能提供由深度学习驱动的体验，如风格转换与滤镜（增强现实应用）、情景探测、面部识别、自然语言理解、物体追踪与规避、手势和文本识别等。SNPE适用于骁龙600和800系列移动平台，可支持通用深度学习框架，如Caffe、Caffe2和Tensorflow，并提供对自定义层的支持。该SDK包括了运行时软件、库、API、离线模型转换工具、示例代码、文档，以及调试与基准测试工具。

　　除了手机QQ“高能舞室”之外，已有不少开发者利用SNPE支持移动人工智能应用的案例。例如，Facebook已宣布计划将SNPE集成到Facebook应用的相机功能中，以促进Caffe2支持的增强现实（AR）特性实现。相较于通过一般的CPU实现，Facebook可利用SNPE，基于Adreno GPU实现5倍的性能提升，从而在拍摄照片和直播视频时，实现更流畅、无缝且逼真的AR特性应用。

　　此外，数款搭载骁龙移动平台的移动终端也已通过SNPE实现了更先进的终端侧人工智能体验。例如，OPPO R11s中利用了商汤科技小型化的创新算法模型与SNPE的完美协作，充分发挥骁龙660移动平台GPU、DSP的运算能力，大幅提升了R11s上人工智能应用运行时的处理速度，同时降低功耗。以优化拍照体验为例，在非联网状态下，用户可以为照片实时增加人像模式和背景虚化等效果。同样，得益于骁龙835移动平台中所支持的SNPE，一加5T可智能匹配人脸的128个特征，在短短0.4秒内完成面部扫描并进行人脸识别，帮助用户方便、迅速地解锁手机。

　　Qualcomm于今年12月初刚刚推出的骁龙845是Qualcomm的第三代人工智能移动平台。与前代系统级芯片（SoC）相比，骁龙845带来了近三倍的人工智能整体性能提升。其中的SNPE SDK除了已支持Google TensorFlow和Facebook Caffe / Caffe2框架之外，还增添了对Tensorflow Lite和新的ONNX的支持，可帮助开发者轻松使用他们所选择的框架，包括Caffe2、CNTK和MxNet。

...全文