GPT多模态大模型与AI Agent智能体书籍配套视频大模型技术原理

[cjlmyfanke]

课程名称	适应人群
GPT多模态大模型与AI Agent智能体书籍配套视频大模型技术原理	本课程工程技术、研究人员，也特别适合作为高等院校本科生和研究生的教材或参考书。书中内容丰富、系统，既有理论知识的深入讲解，也有大量的实践案例和代码示例，能够帮助学生在掌握理论知识的同时，培养实际操作能力和解决问题的能力。通过阅读本书，读者将能够更好地理解大模型技术的前沿发展，并将其应用于实际工作中，推动人工智能技术的进步和创新。

一、课程优势

本课程有陈敬雷老师的清华大学出版社配套新书教材《GPT多模态大模型与AI Agent智能体》（跟我一起学人工智能），

新书配合此实战课程结合学习，一静一动，互补高效学习！

本课程由互联网一线知名大牛陈敬雷老师全程亲自授课，技术前沿热门，是真正的互联网工业级实战项目。

二、购课送配套清华权威书籍教材

购买此课程的用户赠送陈敬雷老师清华大学出版社正版纸质书籍《GPT多模态大模型与AI Agent智能体》！购买后加陈敬雷老师微信chenjinglei66领取。

 

三、课程简介

当DeepSeek、 Sora 技术掀起 AI 浪潮，你是否想掌握核心技术？

在人工智能加速渗透各行业的今天，DeepSeek、OpenAI 的 Sora 多模态模型已成为当今热议焦点，其颠覆性的视频生成与跨模态理解能力，正重塑智能交互的边界。如果你想系统掌握大模型技术原理、实战应用及前沿趋势，这门由陈敬雷编著的《GPT 多模态大模型与 AI Agent 智能体》课程，将为你打开通往 AI 核心技术的大门。

课程核心亮点：从原理到实战，构建 AI 技术全栈能力

1. 前沿技术深度解析，把握行业脉搏

2. • 揭秘 DeepSeek、Sora、GPT-4 等多模态大模型的技术底层逻辑，详解 Transformer 架构如何突破传统神经网络局限，实现长距离依赖捕捉与跨模态信息融合。

   • 对比编码预训练（BERT）、解码预训练（GPT 系列）及编解码架构（BART、T5）的技术差异，掌握大模型从 “理解” 到 “生成” 的核心逻辑。

3. 实战驱动，掌握大模型开发全流程

4. • 提示学习与指令微调：通过 Zero-shot、Few-shot 等案例，演示如何用提示词激活大模型潜能，结合 LoRA 轻量化微调技术，实现广告生成、文本摘要等场景落地（附 ChatGLM3-6B 微调实战代码）。

   • 人类反馈强化学习（RLHF）：拆解 PPO 算法原理，通过智谱 AI 等案例，掌握如何用人类偏好优化模型输出，提升对话系统的安全性与实用性。

5. 智能涌现与 AGI 前瞻，抢占技术高地

6. • 解析大模型 “智能涌现” 现象（如上下文学习、思维链推理），理解为何参数规模突破阈值后，模型能实现从 “量变” 到 “质变” 的能力跃升。

   • 前瞻通用人工智能（AGI）发展趋势，探讨多模态模型（如 Sora）如何推动 AI 从 “单一任务” 向 “类人智能” 进化，提前布局未来技术赛道。

课程模块详解：系统化知识架构，适配不同需求

模块	核心内容	学习收益
1. 大模型技术原理	Transformer 架构、N-gram 到 LLM 的演进、预训练语言模型分类（编码 / 解码 / 编解码）	建立大模型技术认知框架，理解参数规模与 “智能涌现” 的关系
2. 提示学习与大模型训练微调	Zero-shot/One-shot/Few-shot 提示策略，LoRA、QLoRA 等轻量化微调技术实战，DeepSeek训练微调代码实践，DeepSeek-R1：模型文件全解析与实战，本地部署运行DeepSeek-R1满血版大模型等	掌握低成本高效优化大模型的方法，实现行业场景定制化应用
3. 强化学习与对齐	RLHF 原理、PPO 算法流程，人类反馈如何引导模型符合伦理规范	学会构建安全可控的 AI 系统，提升模型在对话、决策等场景的可靠性
4. 多模态与 AGI 前瞻	Sora 技术核心（扩散模型、视频生成）、思维链推理、通用人工智能实现路径	把握 AI 技术前沿趋势，培养跨模态开发与 AGI 应用的创新思维

为什么选择这门课程？三大优势助力技术突破

• 权威性与实用性兼具：作者陈敬雷深耕 AI 领域多年，课程内容基于《GPT 多模态大模型与 AI Agent 智能体》一书，结合京东图书配套视频，理论与实践深度结合。

• 紧跟行业热点：聚焦 Sora、GPT-4 等顶流技术，涵盖多模态生成、AI Agent 智能体等前沿方向，课程内容实时迭代，确保技术不落伍。

• 实战案例丰富：从广告生成、代码解释到长文本理解，提供工业级实战项目（如个性化推荐算法、对话机器人），配套 GPU 微调代码与数据集，学完即可上手开发。

适合人群

• 人工智能领域学习者、开发者，希望深入大模型技术内核；

• 企业技术负责人，需规划 AI 落地路径与大模型应用场景；

• 高校师生、科研人员，从事 NLP、多模态 AI 相关研究；

• 对 AI 技术感兴趣的职场人士，希望通过掌握热门技能提升竞争力。 

四、老师介绍

陈敬雷 充电了么创始人，CEO兼CTO。陈敬雷拥有十几年互联网从业经验，曾任架构师、首席技术官、首席科学家等职务。在技术领域，尤其在大数据和人工智能方向有着丰富的算法工程落地实战经验，在猎聘任职期间主导的推荐算法系统项目获得公司优秀项目奖，推荐效果得到5倍的提升。
此外，陈敬雷著有清华大学出版社四本人工智能书籍，分别是《分布式机器学习实战》《自然语言处理原理与实战》《GPT多模态大模型与AI Agent智能体》《DeepSeek大模型与具身智能实践》，颇受好评。同时陈敬雷还是知名大数据人工智能讲师，研发了上百门课程，总计有30万学员。

五、《GPT多模态大模型与AI Agent智能体》书籍配套视频课程介绍：
陈敬雷老师的京东自营书名标题： GPT多模态大模型与AI Agent智能体（跟我一起学人工智能）
《GPT多模态大模型与AI Agent智能体》（跟我一起学人工智能）是一本2025年清华大学出版社出版的图书，作者是陈敬雷，本书深入探讨了GPT多模态大模型与AI Agent智能体的技术原理及其在企业中的应用落地。

全书共8章，从大模型技术原理切入，逐步深入大模型训练及微调，还介绍了众多国内外主流大模型。LangChain技术、RAG检索增强生成、多模态大模型等均有深入讲解。对AI Agent智能体，从定义、原理到主流框架也都进行了深入讲解。在企业应用落地方面，本书提供了丰富的案例分析，如基于大模型的对话式推荐系统、多模态搜索、NL2SQL数据即席查询、智能客服对话机器人、多模态数字人，以及多模态具身智能等。这些案例不仅展示了大模型技术的实际应用，也为读者提供了宝贵的实践经验。

本书适合对大模型、多模态技术及AI Agent感兴趣的读者阅读，也特别适合作为高等院校本科生和研究生的教材或参考书。书中内容丰富、系统，既有理论知识的深入讲解，也有大量的实践案例和代码示例，能够帮助学生在掌握理论知识的同时，培养实际操作能力和解决问题的能力。通过阅读本书，读者将能够更好地理解大模型技术的前沿发展，并将其应用于实际工作中，推动人工智能技术的进步和创新。

六、整体书籍及配套课程大纲目录：

配套视频课程完整目录

第1章  大模型技术原理
1.1  大模型技术的起源、思想及代码实践
1.2  基于Transformer的预训练语言模型
1.3  Prompt提示词学习工程
1.4  指令微调及代码实践
1.5  人类反馈强化学习|马尔科夫决策过程
1.6  PPO强化学习算法
1.7  大模型人类反馈强化学习对齐
1.8  GPT智能涌现原理与AGI通用人工智能通讲
1.9  什么是智能涌现
1.10  思维链
1.11  上下文学习能力
1.12  指令理解
1.13  通用人工智能

第2章  大模型训练及微调
2.1  大模型训练通讲
2.2  分布式训练的并行策略
2.3  主流并行计算框架
2.4  预训练模型的压缩
2.5  8位/4位量化压缩实战
2.6  大模型主流微调方法通讲
2.7  Prefix Tuning微调
2.8  P-Tuning V1微调
2.9  P-Tuning V2微调
2.10  LoRA微调
2.11 QLoRA微调
2.12  基于旋转位置编码RoPE的长文本理解

第3章  DeepSeek大模型核心技术
3.1  DeepSeek模型架构
3.2  DeepSeek训练基础设施通讲    
3.3  DeepSeek计算集群    
3.4  DeepSeek自研HAI-LLM训练框架    
3.5  DeepSeek FP8训练    
3.6  DeepSeek推理与部署    
3.7  DeepSeek预训练算法及策略    
3.8  DeepSeek后训练之监督微调    
3.9  DeepSeek后训练之 强化学习    
3.10  DeepSeek-R1推理能力强化技术解读    
3.11  DeepSeek-R1-Zero：基于基础模型的强化学习    
3.12  DeepSeek-R1：冷启动强化学习    
3.13  DeepSeek-R1知识蒸馏：赋予小模型推理能力    
3.14  原生稀疏注意力（NSA）技术    
3.15  FlashMLA技术解析    
3.16  DeepEP通信库技术原理    
3.17 DeepEP通信库使用指南    
3.18 DeepEP通信库应用代码示例    
3.19  高效矩阵乘法库DeepGEMM    
3.20  双向流水线并行算法DualPipe深入分析    
3.21  专家并行负载均衡器EPLB深入分析    
3.22  萤火文件系统3FS    
3.23  轻量级分布式数据处理框架Smallpond    
3.24  DeepSeek-V3/R1推理系统架构及核心策略    
3.25  DeepSeek技术优势解读    

第4章  主流大模型    
4.1  国内大模型通讲    
4.2  智谱清言ChatGLM    
4.3  百川智能    
4.4  百度文心一言    
4.5  阿里通义千问    
4.6  腾讯混元    
4.7  华为盘古    
4.8  360智脑    
4.9  科大讯飞星火    
4.10  智源悟道大模型    
4.11  月之暗面Kimi    
4.12  复旦大学MOSS    
4.13  零一万物    
4.14  抖音豆包大模型    
4.15  DeepSeek    
4.16  国外大模型通讲    
4.17  OpenAI GPT-4o    
4.18  Meta LLaMA     
4.19  Anthropic Claude    
4.20  Google Gemini和开源Gemma    
4.21  Mistral Large    
4.22  xAI Grok    
4.23  垂直类大模型通讲    
4.24  HuatuoGPT    
4.25  BianQue    
4.26  BenTsao    
4.27  XrayGLM    
4.28  DoctorGLM    
4.29  ChatMed    
4.30  度小满轩辕
4.31  BloombergGPT
4.32  LaWGPT
4.33  LexiLaw
4.34  Lawyer LLaMA
4.35  ChatLaw
4.36  ChatGLM-Math

第5章  LangChain与LangGraph技术原理与实践
5.1  LangChain技术原理
5.2  LangChain六大核心模块    
5.3 LangChain代码实践
5.4  LangGraph通讲    
5.5  LangGraph技术原理    
5.6  基于DeepSeek大模型的LangGraph代码实践    
5.7  LangGraph Studio    

第6章  RAG检索增强生成    
6.1  RAG技术原理通讲    
6.2  RAG的概念与应用    
6.3  RAG技术架构    
6.4  分块和矢量化    
6.5  搜索索引    
6.6  重新排序和过滤    
6.7  查询转换与路由    
6.8  RAG中的Agent智能体    
6.9  响应合成器    
6.10  大模型微调和RAG优劣势对比    
6.11  文本向量模型通讲    
6.12  Embedding模型、Reranker模型以及ColBERT模型    
6.13  阿里巴巴GTE向量模型    
6.14  中文acge_text_embedding模型    
6.15  智源中英文语义向量模型BGE    
6.16  Moka开源文本嵌入模型M3E    
6.17  OpenAI的text-embedding模型    
6.18  向量数据库通讲    
6.19  Faiss    
6.20  Milvus    
6.21  Pinecone    
6.22  Chroma    
6.23 RAG应用实践通讲
6.24  基于大模型构建企业私有数据的知识问答应用开发代码实践    
6.25  应对大模型落地挑战的优化策略    
6.26  主流开源RAG项目通讲    
6.27  RAGFlow    
6.28  LlamaIndex结合DeepSeek实践    
6.29  GraphRAG    

第7章  多模态大模型    
7.1  多模态基础模型通讲    
7.2  多模态对齐、融合和表示    
7.3  CLIP    
7.4  BLIP    
7.5  BLIP-2    
7.6  InstructBLIP和X-InstructBLIP    
7.7  SAM    
7.8  OpenFlamingo    
7.9  VideoChat    
7.10  PaLM-E    
7.11  OpenAI多模态大模型DALL·E 3、GPT-4V、GPT-4o、Sora通讲    
7.12  文生图多模态大模型DALL·E 3    
7.13  GPT-4V    
7.14  端到端训练多模态大模型GPT-4o技术原理    
7.15  文生视频多模态大模型Sora    
7.16  通义千问多模态大模型    
7.17  开源Qwen-VL和Qwen-VL-Chat    
7.18  Qwen-VL-Plus和Qwen-VL-Max    
7.19  开源端到端训练多模态大模型LLaVA通讲    
7.20  LLaVA    
7.21  LLaVA1.5     
7.22  LLaVA1.6    
7.23  MoE-LLaVA    
7.24  LLaVA-Plus    
7.25  Video-LLaVA和LLaVA-NeXT-Video    
7.26  零一万物多模态大模型Yi-VL系列    
7.27  Yi-VL系列模型架构    
7.28  Yi-VL系列模型训练微调及推理    
7.29  清华系多模态大模型    
7.30  VisualGLM-6B    
7.31  CogVLM2    
7.32  CogAgent    
7.33  CogView、CogVideo和CogVideoX    
7.34  CogCoM    
7.35  GLM-4V-9B    

第8章  AI Agent智能体    
8.1  AI Agent智能体技术原理及架构    
8.2  主流大模型Agent框架通讲    
8.2.1  AutoGPT    
8.2.2  MetaGPT    
8.2.3  ChatDev    
8.2.4  AutoGen    
8.2.5  FastGPT    
8.2.6  XAgent    
8.2.7  GPT-engineer    
8.2.8  BabyAGI    
8.2.9  SuperAGI    
8.2.10  CrewAI    
8.2.11  Manus通用AI智能体    
8.2.12  开源OpenManus通用AI智能体    

第9章  DeepSeek大模型应用落地实践    
9.1  DeepSeek部署实践    
9.1.1  Ollama本地部署DeepSeek大模型    
9.1.2  基于vLLM本地部署企业级DeepSeek    
9.1.3  基于Unsloth的DeepSeek训练微调及本地运行    
9.2  Dify应用程序集成DeepSeek    
9.2.1  接入DeepSeek大模型    
9.2.2  构建应用程序    
9.2.3  知识库管理    
9.2.4  工作流开发    
9.2.5  工具插件    
9.2.6  日志及监测    
9.3  基于DeepSeek工作流应用场景开发实践    
9.3.1  智能客服/知识问答助手开发    
9.3.2  销量预测场景开发    
9.3.3  工业生产设备预测性维护开发    

第10章  大模型企业应用落地    
10.1  基于大模型的对话式推荐系统    
10.1.1  基于大模型的对话式推荐系统技术架构设计    
10.1.2  推荐AI Agent智能体    
10.1.3  面向推荐的语言表达模型    
10.1.4  知识插件    
10.1.5  基于大模型的推荐解释    
10.1.6  对话式推荐系统的新型评测方法    
10.2  多模态搜索    
10.2.1  多模态搜索技术架构设计    
10.2.2  多模态搜索关键技术    
10.2.3  多模态实时搜索与个性化推荐    
10.3  基于自然语言交互的NL2SQL数据即席查询    
10.3.1  NL2SQL数据即席查询技术原理    
10.3.2  NL2SQL应用实践    
10.4  基于大模型的智能客服对话机器人    
10.4.1  大模型智能客服对话机器人技术原理    
10.4.2  AI大模型赋能提升智能客服解决率新策略    
10.4.3  基于大模型的智能客服对话机器人系统搭建    
10.5  多模态数字人    
10.5.1  多模态数字人技术原理    
10.5.2  三维建模与三维重建    
10.5.3  数字人形象设计技术原理    
10.5.4  唇形同步算法    
10.5.5  NeRF、ER-NeRF与RAD-NeRF模型    
10.5.6  数字人项目实践    
10.6  多模态具身智能    
10.6.1  多模态具身智能概念及技术路线    
10.6.2  多模态感知与场景理解    
10.6.3  视觉导航    
10.6.4  世界模型    
10.6.5  具身智能模拟器    
10.6.6  多模态多感官交互具身智能大模型    
10.6.7  端到端强化学习人形机器人    
10.6.8  多模态通才具身智能体    

 

七、名人点评

 

《GPT多模态大模型与AI Agent智能体》是一本深入浅出的人工智能领域专著。全书系统阐述了多模态大模型的技术原理、训练微调方法，以及AI Agent智能体的构建、大模型企业应用落地。内容全面详实，案例丰富，既适合专业人士深化研究，也适合初学者建立知识体系。书中对前沿技术的探讨，如多模态大模型和具身智能，展现了人工智能发展的广阔前景，是一本不可多得的参考书籍。
——陈兴茂  猎聘CTO

这是一本极具深度和广度的专业书籍，从大模型技术原理的细致剖析到各种主流模型的全面介绍，再到实际的企业应用落地场景，每一章都干货满满。它不仅适合专业的研究人员深入探索，也能让普通读者对这一前沿领域有清晰的认知，是人工智能领域不可多得的佳作。
——张志平博士  北京中交兴路信息科技股份有限公司副总裁

本书全面深入地剖析了大模型技术原理、训练及应用，内容丰富，理论与实践相结合。书中详细介绍了多模态大模型和AI Agent智能体的最新进展，对推动我国人工智能领域的发展具有很高的参考价值。这本书是AI领域研究者和技术爱好者的必备之作，值得一读！
——梅一多博士  上海市青年拔尖人才，中关村科学城城市大脑股份有限公司高级技术总监

这是一本极具前瞻性的书籍，它紧跟时代的步伐，对最新的技术和模型进行了深入的研究和分析。无论是多模态大模型的创新，还是AI Agent智能体的发展趋势，都有精彩呈现。书中还展示了大模型在企业中的应用案例，如对话式推荐系统、多模态搜索、NL2SQL、智能客服对话机器人、多模态数字人、多模态具身智能等。无论是技术新手还是资深专家，都能从中获得宝贵的洞见和灵感。
——杨正洪博士  中央财经大学财税大数据实验室首席科学家

《GPT多模态大模型与AI Agent智能体》是一本深入浅出地探讨了人工智能领域前沿技术的书籍。它不仅详尽地介绍了大模型的训练和微调，还涵盖了多模态模型和智能体的创新应用。书中丰富的案例和实践指导，为AI技术爱好者和专业人士提供了宝贵的资源和启发，是理解AI发展和应用的必读之作。
——沈亮  美团技术专家