滚动测试报告 2022年02月

[语音之家]

SpeechIO的所有历史文章可在语音之家网站的【声浪】-【SpeechIO专区】查看，评测结果数据可在语音之家（PC端）的【评测】页面查看。

官网地址：http://www.speechhome.com/eval

滚动测试报告 2022年02月

1、更新日志

最新更新日期:2022-02

2022年02月：

• 场景：增加[港台口音][老外口音]
• 流程：文本归一模块加入儿化音过滤功能(贡献者：xiaoxi91@github )
• 厂商：搜狗平台停止运营；添加 XFZX 服务；微软接口从Rest更换到SDK并关闭TN、脏词过滤模块。
• 测试：全厂商× 全场景 滚动刷新测试

2021年10月：

• 场景：增加[电台节目:张震鬼故事][华语大学生辩论赛][同声传译现场 时政]
• 流程：TN模块增加无意义 filler 词 "呃，啊" 过滤
• 测试：全厂商× 全场景 滚动刷新测试

2021年7月：

• 场景：增加[短视频-产品开箱][短视频-农业种植][线下培训-古希腊哲学]
• 测试：全厂商× 全场景 滚动刷新测试

2021年4月：

• 发布：Leaderboard 项目
• 场景：增加 [汽车之家-汽车评测] [小艾大叔-豪宅带看]
• 测试：全厂商× 全场景 滚动刷新测试

2021年1月：

• 场景：增加[体育赛事解说-NBA] [纪录片-篮球人物]
• 厂商：得到"创业公司S"授权，身份公布为思必驰AISpeech，调用平台为[思必驰开放平台-一句话识别服务]
• 测试：全厂商 × 全场景 滚动刷新测试

2020年12月：

• 场景：增加 [少儿卡通 小猪佩奇&熊出没]
• 厂商：百度服务切换至极速版，详见 [百度服务切换说明]
• 测试：全厂商 × 全场景 滚动刷新测试

2020年11月：

• 场景：增加 [评书 单田芳-白眉大侠]，[相声 德云社]，[脱口秀 吐槽大会]
• 测试：全厂商 × 全场景 滚动刷新测试

2020年10月：

• 指标：增加 SOTA 数值，详见 [当我们谈论SOTA时，我们在谈论什么]
• 场景：增加 [短视频 电影剪辑 谷阿莫&牛叔说电影] [短视频 美食&烹饪 琼斯爱生活&贫穷料理]
• 测试集发布：[新闻联播] 测试集已公开发布，后续滚动测试不会每期都覆盖该场景
• 测试：全厂商 × 全场景 滚动刷新测试

2020年9月：

• 场景：增加 [在线教育 罗翔 法考] [在线教育 张雪峰 考研]
• 厂商：[阿里云+]已上线合并入公网版本[阿里云]，TIOBE 历史数据记录始终以公网版本为准。
• 测试：全厂商 × 全场景 滚动刷新测试

2020年8月：

• 场景：增加 [播客 创业内幕]
• 测试：全厂商 × 全场景 滚动刷新测试

2020年7月：

• 场景：增加 [播客 故事FM]
• 重要修复：发现 [直播带货 李佳琪薇娅][直播王者荣耀 张大仙骚白][老罗语录]三个场景测试集标注错误，全面检查&修正；作废这三个测试集6月的测试结果，7月开始启用修正后的测试集。详情见本月已经发布的[更正说明文章]
• 测试：全厂商 × 全场景 滚动刷新测试

2020年6月：

• 场景：增加 [直播带货 李佳琪薇娅] [直播王者荣耀 张大仙骚白] [老罗语录]
• 厂商：增加【阿里+】，为阿里云新算法的试用版;测试中取消[谷歌], 因谷歌的中文识别性能没有参考性，且费用超过其余各家之和。
• 更名：原【搜狗知音平台】改名为【搜狗AI开放平台】
• 测试：全厂商 × 全场景 滚动刷新测试

2020年5月：

• 修复搜狗多句结果解析bug
• 场景：增加 [天下足球-世界杯往事][罗振宇跨年演讲][李永乐老师在线讲堂]
• 厂商：增加【创S】
• 测试：全厂商 × 全场景 滚动刷新测试

2020年4月：

• 场景：增加 [鲁豫有约大咖一日行]
• 厂商：增加【微软 Azure 认知服务】【搜狗知音平台】
• 测试：全厂商 × 全场景 滚动刷新测试

2020年3月：

• 项目发布：[引篇] [测试规范]
• 场景：增加 [新闻联播]
• 厂商：增加【阿里】【百度】【谷歌】【讯飞】【腾讯】【创Y】

2、滚动测试

已有测试集信息汇总

最新滚动测试结果汇总

最新滚动测试详细数据

 

3、简评

• 本季度新增 [港台口音] [老外口音] 场景测试。
• 厂商及测试也有更新，见开头 changelog 或 [更新说明]
• 文本归一化中新加入的儿化过滤功能对部分口语化场景数字影响明显，全厂商数字均有相应提升。
• 本期测试进行了账号全面切换（新身份&新注册），后续测试还会不定期全面更换（因为我们对行业陆续开源了SpeechIO数据成为白盒测试，账号有被定位风险，容易被低成本的定点部署和优化，影响测试公平）。

[社区云（官方）]

恭喜您这篇帖子入选《社区周刊Vol.19 | 一文带你看懂HarmonyOS应用上架》：https://bbs.csdn.net/topics/605077659 将随社区周刊一起被推荐至CSDN首页哦，期待您的更多优质内容！