云从科技多模态大模型训练和推理服务平台

游戏《光环》中的 人工智能科塔娜说过一句话， “我是他的盾牌，我是他的利刃；我深知他，连同他的过去和未来”。 如何打造一个能想会说、能听会看的AI， 在人工智能发展过程中一直是个 全球性难题。 视频理解正进行着此项挑战。 作为“六感”之首的视觉，占据

围绕“基于音频驱动的说话人视频生成”这一视觉-音频的跨模态任务，将语音与视觉技术结合，提出的方法能够根据输入的语音片段技术，生成自然的头部动作,准确的唇部动作和高质量的面部表情说话视频。该项成果在多个数据集上，都取得了优于过去研究的表现。 此外，在

基于语言查询的视频片段定位任务（Temporal Language Grounding）：该任务是给定一个视频和一段描述语句，通过融合视觉和语言两种模态的信息，在视频中定位出语言所描述内容的视频片段。随着高清摄像头的普及以及网络媒体的快速发展，每天都