语音助手多任务音频文本共享模型（AT-AT）用于提升端到端口语理解系统性能及零样本预测能力

优质创作者: 编程框架技术领域

领域专家: C/C++技术领域

2025-01-09 23:08:25

语音助手多任务音频文本共享模型（AT-AT）用于提升端到端口语理解系统性能及零样本预测能力

...全文

57 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

语音为早期的对话系统（从 Alexa 到 Siri 和 Google Assistant）提供了便捷的接口。在这种情况下，用户说出的“唤醒词”通常会触发自动语音识别 (ASR) 系统，该系统会转录后续用户的请求。然后，自然语言理解 (NLU) 管道将此query转换为结构化格式，用于通过自然语言生成 (NLG) 生成文本答案。最终，文本转语音 (TTS) 系统将答案告诉用户。虽然此过程可以处理短暂、受限的交互（例如触发操作或检索事实），但大型语言模型 (LLM) 的兴起要求将语音界面扩展到多轮、开放式对话。

NN-LSTM 模型和注意力增强 CNN-LSTM 模型。这些模型在 2015 年至 2018 年间收集的瑞尔森情感言语和歌曲视听数据库（RAVDESS）上进行了测试，该数据库包括 1440 个男性和女性演员表达八种情绪的音频文件。这两个模型在将情绪分为八类方面都取得了令人印象深刻的超过 96% 的准确率。

原标题作者机构: 华为翻译服务中心摘要: 抽象性语音摘要（SSum）旨在从口语内容生成类似人类的文本摘要。它在处理长篇语音输入和捕捉长篇语音输入与短文本摘要之间复杂的跨模态映射方面遇到困难。关于大语言模型（LLMs）和多模态信息融合的研究为解决这些挑战提供了新的见解。在本文中，我们提出了一个端到端的SSum模型，该模型利用Q-Former作为音频文本模态的连接器，并利用LLMs直接从语音特征生成文本摘要。我们采用了一个多阶段训练方法，包括基于LLM的ASR和文本摘要（TSum）任务作为辅助任务。

文本转语音（Text-to-Speech, TTS）是指将书面文本自动转换为自然语音的技术，其核心目标是实现高可懂度、高自然度的语音输出。早期TTS系统主要基于规则合成（如共振峰合成器），依赖语言学规则和发音参数表生成语音，虽然可控性强但音质生硬。随着统计建模与深度学习的发展，TTS逐步演进至数据驱动范式，特别是基于隐马尔可夫模型（HMM）、深度神经网络（DNN）以及端到端序列模型的引入，显著提升了语音的流畅性与表现力。

语音识别（Automatic Speech Recognition, ASR）作为人工智能的关键分支，致力于将人类口语信号转化为机器可处理的文本形式。其核心技术演进经历了从传统的高斯混合模型-隐马尔可夫模型（GMM-HMM）到现代端到端深度神经网络的重大变革。

今天深度学习了吗

32,448

社区成员

152

社区内容

发帖

与我相关

我的任务

人工智能图像处理深度学习个人社区浙江省·杭州市

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章