小谈音视频质量检测-开发者投稿

RTE开发者社区 RTE开发者社区 墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年,写一次发全网 我也要 + 加入社区

本文将从测试的角度出发,基于目前项目中摄像头的直播和语音对讲业务,正寻求音视频的质量测试及一些监控分析手段。工作中发现达到一定的并发程度之后,就会出现延时、卡顿、丢帧、马赛克等问题。所以最近在网上看看专家的直播和专栏,学习一下行业内的好的测试方法。

这不,前几天有幸参与了声网的音频算法工程师赵晓涵的关于《实时语音质量监控系统的过去、现在和未来》的在线直播和讨论。本次直播旨在介绍一下声网实时语音质量监控系统的进展,并和大家交流了一下未来的演化方向。

整理了一下,本次直播主要的内容主要涵盖了以下几个模块:

1、过去:语音质量评估算法

2、现在:线下测试的线上化

3、未来:感知、反馈和监控一体化

一、过去:语音质量评估算法

其中,过去的语音质量评估算法主要介绍了有参考客观评价方法、无参考客观评价方法和主观评价方法。

一千个观众会有一千个哈姆雷特,主观评价方法暂且不论。有参考客观评价方法中应用最广泛的有 P.862 PESQ、PESQ-WB 这两种。12 年左右推出了最新的有参考评价方法 P.863 POLQA,它是基于 PSQM 的升级改造。它们都主要依赖无损的参考信号。而无参考客观评价方法无需参考信号。其中的 ANIQUE+据作者称,其准确度超过有参考的 PESQ,这一点也很有意思。

客观评价方法的痛点:

1、有参考方法:只能用在上线前

2、无参考方法-传统信号域:应用场景窄,鲁棒性差

3、无参考方法-传统参数域:仅在有限弱网条件下可以保持精度

4、无参考方法-深度学习:应用场景和语料有限,复杂度高(信号域)

在语音质量评估算法这一方面,我们真的是小白。基于目前业务的,主要覆盖还是功能测试、接口测试和流媒体的部分性能测试。利用现有算法对语音质量进行评估,暂时可能还不会做。

2、现在:线下测试的线上化

直播中赵晓涵老师在这一块主要回顾了下在设计这个系统前的目标,和目前上下行链路的主要问题和解决方法。

现有的评估系统的设计目标:

1、精度高:评估结果可靠

2、覆盖业务场景广:游戏、娱乐、教育等业务场景

3、算法复杂度不能太高:不会对性能造成很大的降低

4、和语音内容弱相关能力:不管输入是语音、音乐还是噪声,分析结果不能受影响。

下行主要有这几个流程:编码、传输、解码、播放

下行侧的质量评估方法也是主要根据上面四个模块展开的:

1、编解码器性能:不同的编解码器对不同的语料处理结果不一样

2、网络传输:丢包、抖动和延迟等

3、弱网对抗算法质量:丢帧补偿

4、设备的外放能力:设备硬件差会对音质有所损伤

这一部分内容深有感触,我们目前用到的摄像头来自海康、大华、雄迈、TPLink 等好几个厂商,同个厂商又有多种型号。不同设备都有硬件差异,就连基本的国标接入都会有些许异常,更别说在音视频上的表现了。目前我们平台所用的视频编码正从 H264 到 H265 转变,音视频质量测试显得格外重要。

而网络传输也是我们目前的性能测试经常遇到的瓶颈,尤其是是视频文件上传 s3 存储会很大程度受限于上行的带宽。另外还有使用 udp 传输,不可避免得造成数据的丢包等问题。

不同的终端设备,对音频外放的音质也不尽相同。这一点我们在兼容性测试时已经有所发现。

三、未来:感知、反馈和监控一体化

对未来的系统的目标:

1、内部状态更细:上行链路细节待优化。

2、体验覆盖更广:目前有些噪声还未能覆盖,待优化。

3、反馈速度更快:目标在 1 分钟内能收到反馈。

4、覆盖通话更全:目标是每一秒都能监控到。

一个覆盖广,响应快,又精准的平台会是所有平台的平台的目标,希望能早日看到平台给音视频质量检测行业带来更大的促进。

...全文

相关推荐

科研论文写作+LaTeX公式排版+数学公式与矩阵/多行对齐/编号引用实战案例+毕业论文与期刊投稿速查手册

LaTeX公式排版技巧与实战案例 【解决什么问题】 公式写对了却"看起来不对":函数名排成斜体、长公式冲出右边距、等号错开半行、编号跳号、括号过大、行距被分式撑开——编译不报错,却一眼被导师和审稿人看出来。本资源逐个给出可复制的正解。 【内容结构】 1)手册 50 页(PDF + 可编辑 DOCX):第 1—3 章讲 4 条硬指标、引擎选择、导言区骨架、公式入口与字体语义;第 4—12 章拆角标与微分、分式根式、求和积分、定界符尺寸、矩阵、编号与交叉引用、断行决策树、间距微调、定理体系;第 13 章是十大高频报错对照表(报错原文→根因→修复);第 15 章为投稿前 20 条自检清单;附录含完整模板、符号速查表、宏包清单。 2)12 个独立可编译案例(examples/):求根公式、分段函数、矩阵与方程组、多重积分与雅可比、泰勒展开、条件概率与 MLE、损失函数多行对齐、带约束优化、断行三写法对比、化学式与物理单位、算法伪代码公式、定理—引理—证明闭环,手册第 14 章逐例解读。 3)模板与速查单页(template/):改导言区即可写论文;A4 双栏符号表可打印。 【适用人群】毕业论文、期刊投稿、技术文档作者;会写 \documentclass 即可上手。 【环境】TeX Live 2023+ / MiKTeX 23+,XeLaTeX 编译;amsmath、mathtools、bm、siunitx、amsthm、mhchem、cleveref。 【用法】先跑通第 2 章环境 → 编译 01 号案例确认链路 → 替换模板导言区 → 写作时查附录 B → 交稿前过第 15 章清单。 示例代码可自由用于个人学习与论文写作。

kyyyyyy_

微信小程序实战开发教程:组件API、云开发、支付接入与性能优化

项目级实战教程,全案例可复现。覆盖:工程结构与页面路由 · WXML/WXSS 组件样式 · 数据绑定与事件 · 网络与本地存储 · 云函数云数据库云存储 · 登录与授权 · 微信支付接入 · 分包与性能优化。含判据表、配置片段与审核避坑。

wdxnzhh

产业园区运营负责人如何实现园区内创新资源的精准匹配与高效配置?.docx

科易网基于行业知识库+行业大数据+科技资源要素+AI模型,以AI,赋能技术转移、成果转化、技术经理人培训、知识产权管理、区域产业分析与布局、地方科技招商、创新创业大赛等场景,推出科技创新领域的AI工具、场景化服务和数智化解决方案,推动科技创新与产业创新智能化发展。

BIZKEEN

【ADMM、碳排放】基于分布式ADMM算法的考虑碳排放交易的电力系统优化调度研究【IEEE6节点、IEEE30节点、IEEE118节点】(Matlab代码实现)

内容概要:本文围绕基于分布式交替方向乘子法(ADMM)的电力系统优化调度展开研究,深入探讨了碳排放交易机制对多区域电力系统经济与低碳运行的影响。研究构建了融合碳交易成本的多区域分布式优化调度模型,并在IEEE6、IEEE30和IEEE118标准测试系统上进行了仿真验证。通过Matlab编程实现了ADMM算法的迭代求解过程,详细剖析了其分解协调机制与收敛特性,有效实现了系统运行成本与碳排放总量的协同优化,为低碳电力系统调度提供了理论支持与技术路径。; 适合人群:具备电力系统分析、优化理论基础及Matlab编程能力的研究生、高校科研人员以及电力公司从事调度自动化与节能减排工作的技术人员。; 使用场景及目标:①应用于跨区域互联电网在碳市场环境下的分布式经济调度与碳配额分配研究;②为电力系统低碳运行策略制定、碳价机制设计及政策仿真评估提供算法工具与案例支撑。; 阅读建议:建议读者结合提供的Matlab代码,深入理解ADMM算法的变量分裂、拉格朗日函数构建与分布式求解流程,重点关注碳交易价格对各区域机组出力、联络线功率及总成本的影响,可进一步拓展至含大规模可再生能源接入的随机或鲁棒优化场景。

李锦科研

【数据库部署】麒麟v10系统安装金仓KingbaseES指南:国产化环境下的金仓数据库部署方案

内容概要:本文详细介绍了在麒麟v10操作系统上安装国产金仓数据库(KingbaseES)的完整流程,涵盖安装包下载、系统环境准备、依赖库安装、数据库服务安装、数据目录初始化及数据库启动与连接等关键步骤。文档重点指导用户通过创建专用用户和属组、配置yum源、安装必要依赖、使用rpm命令安装数据库软件,并通过initdb命令初始化数据库集群,最终完成数据库服务的启动与客户端连接验证。整个过程结合命令行操作与输出日志,具有较强的实操指导性。; 适合人群:具备Linux操作系统基础、熟悉数据库基本概念的系统管理员、数据库运维人员或国产化项目实施工程师,尤其适用于从事信创环境下数据库部署的技术人员。; 使用场景及目标:①在麒麟v10系统中部署金仓数据库以替代国外数据库产品;②完成数据库的初始化配置并实现本地连接访问;③为后续的数据库迁移、应用对接和性能调优提供基础环境支撑。; 阅读建议:在操作前应确保系统已联网并配置好yum源,严格按照文档顺序执行命令,注意权限管理和路径一致性,建议在测试环境中先行验证后再应用于生产环境。

飞奔的瓜牛
评论
收藏 已收藏
分享
返回顶部
RTE开发者社区
RTE开发者社区 企业官方账号 企业官方账号
RTE 实时互动技术 45 成员 180 内容