课程名称适应人群2024年4月全球机器学习技术大会(上海站)演讲视频2024年4月全球机器学习技术大会(上海站)参会用户 自1936年阿兰· 图灵提出「图灵机」以及机器具备「思维」的可能性以来，以机器学习为代表的人工智能经过飞速发展，深刻地改变着我们

课时名称课时知识点紫东太初多模态大模型创新与实践应用新一代人工智能正在从传统数据智能拓展到5大形态。在通往通用人工智能的道路上，信息智能方面的研究者重点以多模态为核心，突破感知、认知和决策的交互问题。紫东太初2.0首次提出全模态多任务统一生成式学习框

课时名称课时知识点预训练方法在语音处理领域的探索和应用随着预训练模型在自然语言处理和图像处理中的进展，语音预训练模型也越来越受到重视。基于预训练模型的语音处理方法在多个任务上也取得了突破性的进展。在本报告中，我们将分别介绍三种不同的预训练模型，基于编

课时名称课时知识点多模态智能体在下一代AI原生2C产品的探索和实践AI陪伴、虚拟社交以及互动娱乐构成了AI原生2C应用领域中备受瞩目的核心方向之一。为了在我们的产品中营造一个更为丰富和多元的多模态交互体验，我们对多模态智能体架构进行了深入的探索与实践

课时名称课时知识点机器人的智能革命：深入大模型技术在人工智能的快速发展下，我们对于制造出与人类智能相匹敌的机器人的梦想似乎触手可及。然而，尽管我们已经进入了所谓的“机器人的大模型时代”，智能化的机器人仍然未能实现。大模型给机器人带来了全新的变革，但同

课时名称课时知识点小冰AI Beings的视觉革新：个性化表达的挑战与突破Transformer技术带来了AI的第二波发展，尤其在图像与视频生成领域。Latent Diffusion Model (LDM) 引领了一系列以Stable Diffusi

课时名称课时知识点Open-Sora Plan视频生成开源计划 – 进展与不足文生视频模型Sora能生成高质量视频内容，但是该技术和模型并未开源开放给大众；本次报告主要介绍北大-兔展AIGC联合实验室共同发起的Open Sora Plan, 旨在聚集

课时名称课时知识点StepCoder：从编译器反馈中强化学习以提高代码生成能力本次演讲将主要讨论使用LLM生成代码的难点挑战，以及如何有效的将强化学习整合到LLM的训练中。利用LLM根据人类需求生成代码不仅考验LLM的推理能力，还能够帮助人类更容易地

课时名称课时知识点Sora开源复现架构模型与训练揭秘随着视频内容创作和消费的迅猛增长，OpenAI Sora凭借其出色的视频生成技术成为行业的领跑者。紧随其后，Colossal-AI团队率先推出类Sora架构开源视频生成模型Open-Sora 1.0

课时名称课时知识点面向国产AI芯片的高效推理框架的优化与实践随着人工智能技术的迅猛发展，大模型已成为各类应用的核心技术，为各行各业带来新的结构性机遇。然而，大模型需要高昂的算力才能进行高效推理以满足业务场景需要。面对英伟达受限情况下巨大的算力缺口，国

课时名称课时知识点曙光存储AI大模型实践分享杨志雷：中科曙光存储产品事业部副总经理，曙光存储公司副总裁。本次分享为大家带来曙光存储AI大模型实践分享。

课时名称课时知识点超拟人大模型和个性化场景化的AI服务超拟人大模型是大模型技术通向AGI水平的一个重要研究方向。聆心智能基于多年的情感对话系统的研究成果和丰富的大模型架构设计和工程研发经验，积极探索在超拟人大模型领域的技术和商业应用的可能性，形成了扎

课时名称课时知识点视觉目标的矢量化表征与内容生成技术Stable diffusion、SORA等新框架的问世，极大地提升了生成式人工智能（包括图像、图形、视频等）的视觉质量。然而，以概率分布拟合为目标的黑盒式深度网络模型的难以本质上消除语义结构错误、

课时名称课时知识点视频大模型架构解析及其芯片级训练部署挑战随着Sora和Stable Video Diffusion等模型技术逐渐成熟，视频大模型（VLM）正与短视频产业结合并迎来新的爆发机遇，必将成为互联网和影视产业的热点。本次分享从视频大模型与世

课时名称课时知识点PPIO：如何做到算力基建和推理优化的"软硬兼施"与创新突破LLM快速发展，高昂的推理成本已成为阻碍其广泛应用的主要障碍之一。本演讲将深入探讨LLM推理的成本优化、从软硬件分享性能提升的方法，并展示在PPIO GPU Cloud中的

课时名称课时知识点大模型训推工具的落地实践及前景展望经历了2023年的大模型应用探索阶段，我们迎来了一个新的里程碑。2024年预计将成为大模型在产业应用和工具开发层面的关键爆发期。本次分享将从实际案例出发，深入探讨这一趋势和技术实践。

课时名称课时知识点DLRover 训练故障自愈：大幅提升大规模AI训练的算力效率当前大规模语言模型训练需要大量的加速卡来训练，例如 GPU和NPU等。由于GPU 机器的故障率较高，频繁的故障会导致训练中断、计算浪费和集群空转，从而造成大量的时间和算力

课时名称课时知识点大模型在AI Infra方面的挑战与实践当前预训练模型的规模和模型复杂性不断增加，这给基础设施带来了巨大的压力。为了应对这些挑战，构建更大规模的高性能训练集群，企业往往需要进行全链路的优化，包括算法、硬件架构和系统设计的创新，以提高

课时名称课时知识点端到端模型智驾如何催生新质生产力？全球汽车市场竞争日益激烈，上半场是“新能源”竞争。在过去的几年中，中国电动化在全球竞争格局里取得了很好的成绩，现在进入下半场“智能化”竞争。根据相关数据显示，2023 年前装标配 NOA 交付新车数

课时名称课时知识点飞桨在大模型工程化方面的挑战与技术实践大模型的发展为通用人工智能带来曙光。本报告将结合大模型的发展趋势与工程化挑战，介绍百度飞桨深度学习平台的最新进展，分享飞桨支撑大模型高效训练、推理的方法论与技术实践；同时秉承开源开放的理念，展望

课时名称课时知识点大模型RAG链路核心模块开发与实践近期，大模型的出现激发出类似langchain、llamaindex的开发工具的流行，同步引爆了基于大模型RAG的开发范式和下游应用。RAG链路中核心算法模块的开发和优化也逐渐成为大家关注的热点，例