第一章节可参考 ●第1节: 端到端语音识别基础 CTC目标函数 Attention-based Encoder Decoder 联合建模 神经网络类型 流式语音识别 ● 第2节: Wenet中的神经网络设计与实现 Subsampling网络 Encoder Block 模型定义 创建模型 前向计算 其他接口 模型入口 ASRModel Encoder网络 Attention based Decoder网络 CTC Loss Attention based Deco

Perceptually Guided End-to-End Text-to-Speech With MOS Prediction 本文为韩国科学技术高等研究院电气工程学院在2021.08.19更新的文章，主要使用MOSNet增加perceptual loss来优化TTS，从而提高自然度。 1、研究背景 这篇文章还挺有趣，主要在想法上边。首先，对于TTS的合成音频质量的标准主要靠主观的MOS来评分，但这需要组织大量人力来评分，因此自动MOS打分系统被研究，诸如MOSNet等等。本文把MOSNet

A Unified Transformer-based Framework for Duplex Text Normalization 本文为NVIDIA在2021.08.23更新的文章，主要的工作是使用一个模型对Text Normalization和 inverse text normalization两个任务进行建模，从而简化对话系统的管理。 1、研究背景 一套完备的对话系统包括DSP、ASR、LU、LG、TTS等等模块，其中TN和iTN任务分别应用在TTS和ASR中。TN工作主要把手写格式

作为智能语音领域的热点研究方向，说话人确认(Speaker Verification)旨在根据注册语音判断测试语音与其是否属于同一说话人的一项技术。近年来，基于深度神经网络的说话人确认技术在可控场景下取得了卓越的性能。但是在实际应用场景中，外在不可控的环境噪声、人与设备交互距离所产生的远场语音衰减、房间混响混响以及近场注册与远场验证的域不匹配（domain mismatch）等问题都会导致说话人确认系统性能的大幅度下降。在智能家居等应用场景下，用户通常通过近场设备（如手机）进行声纹注册， 实际使

01、硬件和软件工程师职责 能力要求是一个比较抽象的概念，需要结合行业和岗位来具象化。 1）传统制造行业中谈论较多的是工程设计和工程制造的问题。例如零件制造厂的研发工程师要根据客户需求和行业标准经过结构选型、绘制图纸、仿真计算、实体测试、生产设计等系列环节。工程师要灵活地运用结构力学等知识，设计产品并分析和优化设计方案，要掌握业内的辅助设计软件、结构受力计算软件的使用，要熟悉行业标准、生产工具和工艺。在工作中，工程师会和需求方、品质部、生产部等相关人员打交道。在产品完工后，也要负责产品后续质量缺

京东科技 京东科技集团是京东集团旗下专注于以技术为产业服务的业务子集团，致力于为企业、金融机构、政府等各类客户提供全价值链的技术性产品与解决方案。依托人工智能、大数据、云计算、物联网等前沿科技能力，京东科技集团打造出了面向不同行业的产品和解决方案，以此帮助全社会各行业、企业降低供应链成本，提升运营效率。京东科技融合了原京东数科技云与AI（原京东智联云）两大技术业务板块，现已成为整个京东集团对外提供技术服务的核心输出平台，拥有丰富的产业理解力、深厚的风险管理能力、用户运营能力和企业服务能力，能面向

WACV 2021的录用论文Visual Speech Enhancement Without A Real Visual Stream。该文研究涉及计算机视觉与语音处理的交叉。 论文信息 语音增强是语音处理的经典研究内容，以往的语音增强往往只将语音作为输入信号，这在现实世界的嘈杂环境中往往效果不佳。 近年来一种视觉辅助的语音增强技术取得了突破，通过跟踪视频中人物口型，可以较好地辅助过滤环境噪声。但其需要人物正脸在视频中，使用场景较为狭窄，毕竟大多数场景下，没有人物正脸，甚至没有视觉信息辅助。

汽车是现代生活中的常见话题，汽车之家是专业领域知名媒体，视频大多采用跟拍的方式，从具体车型的性能介绍，到户外实地看车，到车内体验，再到上路体验。 场景特点 ● 环境 涵盖车内、室外静止、上路测试等场景 包含节目背景音效、音乐 部分片段包含上路后的风噪、车噪 ● 拾音设备 采访式摄像录音设备，近场 & 中距离 ● 说话人 评测员 ● 说话方式 有底稿，字正腔圆，流利 语速稍快 ● 方言 普通话 ● 内容领域 汽车，品牌厂家，车型，内饰，动力等汽车相关话题 会时常夹杂一些英文及

信息发布：[SpeechIO leaderboard]model zoo 中新加入基于Kaldi框架的开源中文识别模型，model_id 为speechio_kaldi_multicn，可以在 leaderboard 中公开引用或者下载使用。 该模型由 Kaldi multicn recipe 的作者那兴宇于2020年中基于 multicn recipe 优化训练完成，由 SpeechIO 近日整理进 leaderboard model zoo，该模型基本代表了现有纯开源领域的最好性能。时至今日

素材来源 AISHELL-1 是中文语音识别学术研究中应用最广泛的数据集，本期基于 AISHELL-1 的测试集，对各厂商进行测试。本场景属于非常干净的学术场景，不会加入后续滚动测试。 场景特点 ● 环境 室内，无噪声 ● 拾音设备 高保真麦克风，近场 ● 说话人 数据集制作过程中邀请的发音人（多人，分布在全国各地） ● 说话方式 根据预先设计的脚本，由发音人对照朗读 语速慢，字正腔圆 ● 方言 普通话，个别发音人有轻微口音 ● 内容领域 拼写，数字串，控制命令，音乐，娱乐，经济

承接上几篇文章，继续在 [SpeechIO Leaderboard] 中加入标准中文语音学术研究集 AISHELL-2 的测试。 与AISHELL-1不同的是，其测试集包含三路并行录音设备，分别为 Mic，iOS，Android 设备信道。 场景特点 同上篇 AISHELL-1 测试结果 测试时间：2021.08 本场景不会加入后续 SpeechIO 滚动测试。 简评 同上几篇系列文章 [kaldi_multicn pretrained model] [AISHELL-1] 另本场景中 AIS

本周 SpeechIO Leaderboard Model Zoo 接收了来自 WeNet-E2E 团队提交的开源中文模型 wenet_muliti_cn，该模型训练基于 WeNet toolkit, 数据为现有全部开源中文数据语料库，leaderboard自动化 pipeline 的测试结果如下图，我们并列展示了： 1、 多个工业头部厂商的平均值 [SOTA值] 2、 工业厂商中的尾部性能，百度API 3、 Leaderboard中现有的两个开源模型 Kaldi multi-cn 和 WeNe

Kaldi决策树中使用的问题集并不是手工设计的，而是通过之前得到的统计量自动生成的。那么在Kaldi中是如何自动生成问题的？这就是本次笔记的主要内容。 在这个笔记中，我会首先介绍自动生成问题集所用到的主程序cluster-phones和主函数AutomaticallyObtainQuestions()，然后会穿插着介绍主函数用到的核心函数和完成具体工作的一些C++对象。最后再讲解程序compile-question。 建议学习Kaldi官方文档《Decision tree internals》的

原理 学习资料： 1、SLP Ch10.3 2、Daney Povey Kaldi Lecture3 3、官方决策树三个文档、HMM文档 4、爱丁堡大学CDHMM-PPT 5、论文《Tree-Based State Tying For High Accuracy Acoustic Modelling》S.J.Young 6、论文《Decision Tree-Based State Tying For Acoustic Modelling》这个里面有一些具体的公式推导 个人感悟： 决策树这一块

语音本质是声带的振动，然后经过声道和口腔的调制才产生我们可以听到或拾取的声音，然而通过倒谱（cepstrum）分析语音就能将这一本质的特征参数提取出来。 梅尔倒频谱(Mel-Frequency Spectrum, MFC)是一个可用来代表短期语音的频谱，其原理基于以非线性的梅尔刻度(mel scale)表示的对数频谱及其线性余弦转换之上。 梅尔倒谱系数(Mel-frequency cepstrum coefficients,MFCC)是一组用来建立梅尔倒频谱的关键系数，对语音当中的片段，我们可以