4
社区成员
发帖
与我相关
我的任务
分享生成式AI（Generative AI）学习大纲
生成式AI（Generative AI）学习大纲（Excel 适配版，含 2024-2025 最新技术与全量资源）
|
学习阶段 |
核心模块 |
知识点（含 2024-2025 最新技术） |
学习网站（含有效网址） |
GitHub 项目地址 |
学习视频网站（含有效网址） |
|---|---|---|---|---|---|
|
基础奠基阶段（2-3 个月） |
数学与机器学习基础 |
1. 核心数学：线性代数（矩阵运算、特征分解、张量计算）、概率论（贝叶斯定理、概率分布、采样理论）、最优化（梯度下降、AdamW、LBFGS）、信息论（熵、交叉熵、KL散度）；2. 机器学习基础：监督/无监督/自监督学习、过拟合与正则化、模型评估指标（准确率、F1、PPL、BLEU）；3. 生成式AI数学支撑：噪声生成与消除、概率生成模型数学原理 |
1. 3Blue1Brown 官网（https://www.3blue1brown.com/）；2. Khan Academy（https://www.khanacademy.org/）；3. MIT OpenCourseWare（https://ocw.mit.edu/）；4. 统计学习方法官网（https://statlearning.com/）；5. 信息论基础教程（https://www.inf.ed.ac.uk/teaching/courses/itprv/） |
1. https://github.com/kenjihiranabe/The-Art-of-Linear-Algebra；2. https://github.com/ashishpatel26/Mathematics-for-Machine-Learning；3. https://github.com/tdhopper/statistics-for-machine-learning；4. https://github.com/eriklindernoren/ML-From-Scratch |
1. B 站《线性代数的本质》（https://www.bilibili.com/video/BV1ys411472E/）；2. MIT 概率论公开课（https://www.youtube.com/playlist?list=PLUl4u3cNGP61iGlKMZ3s6FsT9_uvxle8_）；3. 中国大学 MOOC《机器学习》（https://www.icourse163.org/course/NJU-1001908005）；4. YouTube 信息论基础（https://www.youtube.com/watch?v=2s3aJfRr9gE） |
|
编程与开发环境搭建 |
1. Python 核心：语法基础、函数式编程、面向对象、正则表达式、文件操作、批量数据处理；2. 生成式AI适配库：NumPy（张量运算）、Pandas（数据处理）、Matplotlib/Seaborn（结果可视化）；3. 开发工具：Git/GitHub、Linux 命令行、Anaconda（环境配置）、Jupyter Notebook（交互式开发）；4. GPU 环境配置：CUDA、CuDNN、PyTorch/TensorFlow GPU 版本安装 |
1. Python 官方文档（https://www.python.org/doc/）；2. 菜鸟教程 Python 专区（https://www.runoob.com/python/python-tutorial.html）；3. Real Python（https://realpython.com/）；4. PyTorch 官方文档（https://pytorch.org/docs/stable/index.html）；5. TensorFlow 官方文档（https://www.tensorflow.org/docs）；6. CUDA 官网（https://developer.nvidia.com/cuda-toolkit-archive） |
1. https://github.com/TheAlgorithms/Python；2. https://github.com/jakevdp/PythonDataScienceHandbook；3. https://github.com/numpy/numpy/tree/main/examples；4. https://github.com/pytorch/examples；5. https://github.com/tensorflow/examples；6. https://github.com/git-guides |
1. B 站尚硅谷 Python 基础（https://www.bilibili.com/video/BV1eW411t7rd/）；2. Coursera Python for Everybody（https://www.coursera.org/specializations/python）；3. B 站 PyTorch 环境搭建教程（https://www.bilibili.com/video/BV1Z7411774q/）；4. YouTube TensorFlow 入门（https://www.youtube.com/watch?v=tPYj3fFJGjk） | |
|
生成式AI入门认知 |
1. 核心概念：定义、发展历程（传统生成模型→深度学习生成模型→大模型生成时代）、核心特征（创造性、多样性、可控性）；2. 技术流派：生成式对抗网络（GAN）、变分自编码器（VAE）、扩散模型（Diffusion）、Transformer 生成模型；3. 应用场景：文本生成、图像生成、音频生成、视频生成、多模态生成、数字人；4. 行业趋势：2025 重点方向（轻量化生成模型、实时生成、可控生成、多模态融合） |
1. 机器之心（https://www.jiqizhixin.com/）；2. 新智元（https://www.zhidx.com/）；3. Hugging Face 生成式AI入门（https://huggingface.co/learn/nlp-course/zh-CN/chapter1/1）；4. 生成式AI终极指南（https://blog.51cto.com/jiagoushipro/14234580）；5. OpenAI 官网（https://openai.com/research） |
1. https://github.com/ashishpatel26/awesome-generative-ai；2. https://github.com/steven2358/awesome-generative-models；3. https://github.com/huggingface/awesome-huggingface；4. https://github.com/krasserm/awesome-generative-deep-learning |
1. B 站《生成式AI发展简史》（https://www.bilibili.com/video/BV1fV4y1o7aQ/）；2. YouTube Generative AI 入门教程（https://www.youtube.com/watch?v=J_0qvRt4LN8）；3. 慕课网 生成式AI导论（https://www.imooc.com/course/list?c=ai&keyword=生成式AI）；4. 斯坦福 CS230 生成模型专题（https://www.youtube.com/watch?v=5q843aWt2ls） | |
|
数据基础与预处理 |
1. 生成式AI数据集类型：文本数据集（Wikipedia、BookCorpus）、图像数据集（COCO、FFHQ）、音频数据集（LibriSpeech、LJSpeech）、视频数据集（UCF101、Kinetics）；2. 数据预处理流程：数据清洗（去噪、去重、过滤有毒内容）、数据标准化、数据增强（文本回译、图像裁剪/翻转、音频变速）；3. 数据集工具：Hugging Face Datasets、TensorFlow Datasets、PyTorch Dataset；4. 数据标注：文本指令标注、图像语义标注、多模态对齐标注 |
1. Hugging Face Datasets 文档（https://huggingface.co/docs/datasets/index）；2. TensorFlow Datasets 文档（https://www.tensorflow.org/datasets）；3. COCO 数据集官网（https://cocodataset.org/）；4. FFHQ 数据集官网（https://github.com/NVlabs/ffhq-dataset）；5. 数据标注工具 Doccano（https://doccano.herokuapp.com/） |
1. https://github.com/huggingface/datasets；2. https://github.com/tensorflow/datasets；3. https://github.com/NVlabs/ffhq-dataset；4. https://github.com/doccano/doccano；5. https://github.com/facebookresearch/fastText/blob/master/docs/crawl-vectors.md |
1. B 站 Hugging Face Datasets 实战（https://www.bilibili.com/video/BV1yh4y1o7qZ/）；2. YouTube 生成式AI数据预处理（https://www.youtube.com/watch?v=6Zv-2T84X3A）；3. 慕课网 数据集标注实战（https://www.imooc.com/course/list?c=data&keyword=数据标注）；4. B 站 文本数据增强教程（https://www.bilibili.com/video/BV1Qt411u7Y8/） | |
|
深度学习基础网络 |
1. 基础神经网络：CNN（卷积层、池化层、激活函数）、RNN/LSTM/GRU（序列建模）；2. Transformer 架构：Encoder/Decoder、Multi-Head Attention、Position-wise Feed-Forward Network、Positional Encoding；3. 核心激活函数：ReLU、GELU、Swish、Sigmoid、Tanh；4. 归一化技术：Batch Normalization、Layer Normalization、RMSNorm |
1. CS231n 官网（https://cs231n.stanford.edu/）；2. CS224n 官网（https://web.stanford.edu/class/cs224n/）；3. Transformer 论文（https://arxiv.org/abs/1706.03762）；4. PyTorch 神经网络文档（https://pytorch.org/docs/stable/nn.html） |
1. https://github.com/pytorch/vision/tree/main/torchvision/models；2. https://github.com/huggingface/transformers；3. https://github.com/karpathy/minGPT；4. https://github.com/kimiyoung/transformer-xl |
1. B 站 Transformer 原理可视化（https://www.bilibili.com/video/BV1pu411o7BE/）；2. 斯坦福 CS231n CNN 精讲（https://www.youtube.com/watch?v=vT1JzLTH4G4）；3. B 站 LSTM 原理与实战（https://www.bilibili.com/video/BV1Sb411i7aE/）；4. YouTube Transformer 实战（https://www.youtube.com/watch?v=Nt5L1jCKj50） | |
|
核心生成模型阶段（3-4 个月） |
传统生成模型基础 |
1. 经典生成模型：隐马尔可夫模型（HMM）、高斯混合模型（GMM）、贝叶斯网络；2. 早期深度学习生成模型：自编码器（AE）、变分自编码器（VAE）、条件VAE（CVAE）；3. 核心原理：概率生成、隐空间建模、重构与生成平衡；4. 应用场景：简单图像生成、数据降维、异常检测 |
1. 变分自编码器论文（https://arxiv.org/abs/1312.6114）；2. 机器学习深度学习（https://d2l.ai/）；3. 自编码器教程（https://towardsdatascience.com/autoencoders-explained-6f8448737bfb）；4. GMM 官网教程（https://scikit-learn.org/stable/modules/mixture.html） |
1. https://github.com/pytorch/examples/tree/main/vae；2. https://github.com/ykwon0407/variational_autoencoder；3. https://github.com/scikit-learn/scikit-learn/tree/main/examples/mixture；4. https://github.com/wiseodd/generative-models/tree/master/VAE |
1. B 站 VAE 原理与实战（https://www.bilibili.com/video/BV17x411j7kP/）；2. YouTube 自编码器教程（https://www.youtube.com/watch?v=uaaqyVS9-rM）；3. 中国大学 MOOC《深度学习》（https://www.icourse163.org/course/THU-1003208002）；4. B 站 GMM 实战（https://www.bilibili.com/video/BV1Z4411o7iL/） |
|
生成式对抗网络（GAN）系列 |
1. GAN 核心原理：生成器与判别器对抗训练、纳什均衡；2. 经典 GAN 变体：DCGAN（深度卷积GAN）、WGAN（Wasserstein GAN）、CycleGAN（图像风格迁移）、Pix2Pix（条件图像生成）；3. 2024-2025 进阶：StyleGAN3（图像生成质量提升）、ProGAN（渐进式生成）、GAN 与 Transformer 融合模型；4. 应用场景：图像生成、风格迁移、图像修复、超分辨率重建 |
1. GAN 论文（https://arxiv.org/abs/1406.2661）；2. StyleGAN 官网（https://nvlabs.github.io/stylegan3/）；3. CycleGAN 论文（https://arxiv.org/abs/1703.10593）；4. GAN 教程网（https://ganlibrary.github.io/） |
1. https://github.com/goodfeli/adversarial；2. https://github.com/NVlabs/stylegan3；3. https://github.com/junyanz/CycleGAN；4. https://github.com/phillipi/pix2pix；5. https://github.com/eriklindernoren/PyTorch-GAN |
1. B 站 GAN 原理可视化（https://www.bilibili.com/video/BV1kW411W7pZ/）；2. YouTube StyleGAN 实战（https://www.youtube.com/watch?v=kSLJriaOumA）；3. B 站 CycleGAN 风格迁移教程（https://www.bilibili.com/video/BV1Mb411i7oe/）；4. 斯坦福 GAN 专题课（https://www.youtube.com/watch?v=3IXaG9aumX4） | |
|
扩散模型（Diffusion Model） |
1. 核心原理：前向噪声过程、反向扩散过程、马尔可夫链；2. 经典扩散模型：DDPM（深度去噪扩散概率模型）、DDIM（加速扩散）、Stable Diffusion（ latent 扩散模型）；3. 2024-2025 最新：SD3（Stable Diffusion 3）、ControlNet（可控生成）、Text-to-Video Diffusion；4. 技术要点： latent 空间建模、注意力机制融合、采样加速策略；5. 应用场景：文生图、图生图、文生视频、图像修复、超分辨率 |
1. DDPM 论文（https://arxiv.org/abs/2006.11239）；2. Stable Diffusion 官网（https://stability.ai/stable-diffusion）；3. ControlNet 论文（https://arxiv.org/abs/2302.05543）；4. Hugging Face Diffusers 文档（https://huggingface.co/docs/diffusers/index） |
1. https://github.com/hojonathanho/diffusion；2. https://github.com/Stability-AI/generative-models；3. https://github.com/huggingface/diffusers；4. https://github.com/lllyasviel/ControlNet；5. https://github.com/openai/guided-diffusion |
1. B 站 扩散模型原理详解（https://www.bilibili.com/video/BV1X24y1o7iH/）；2. YouTube Stable Diffusion 实战（https://www.youtube.com/watch?v=3JQ3hYko51Y）；3. B 站 ControlNet 可控生成教程（https://www.bilibili.com/video/BV1vH4y1o7bX/）；4. 扩散模型进阶课（https://www.youtube.com/watch?v=EuS8YJZ98aQ） | |
|
Transformer 生成模型 |
1. 生成式 Transformer 架构：Decoder-only（GPT 系列）、Encoder-Decoder（T5、BART）；2. 预训练策略：自回归预训练、掩码语言模型预训练、文本到文本预训练；3. 经典模型：GPT-2/GPT-3/GPT-4o、T5、BART、LLaMA 3、Mistral Large 2；4. 2025 技术：长上下文扩展（GPT-4o 128k tokens）、多模态融合（文本+图像+音频）、MoE 架构（混合专家模型） |
1. GPT-4o 官网（https://openai.com/gpt-4o）；2. Meta Llama 官网（https://ai.meta.com/llama/）；3. T5 论文（https://arxiv.org/abs/1910.10683）；4. Hugging Face Transformers 文档（https://huggingface.co/docs/transformers/index） |
1. https://github.com/openai/gpt-4o；2. https://github.com/meta-llama/llama3；3. https://github.com/huggingface/transformers；4. https://github.com/google-research/text-to-text-transfer-transformer；5. https://github.com/mistralai/mistral-src |
1. B 站 GPT 系列模型原理（https://www.bilibili.com/video/BV1xH4y1W7bX/）；2. YouTube LLaMA 3 实战教程（https://www.youtube.com/watch?v=9G7P3LzQEVs）；3. 斯坦福 CS224n Transformer 生成模型精讲（https://www.youtube.com/watch?v=5vcj8kSwBCY）；4. B 站 T5 模型实战（https://www.bilibili.com/video/BV1rH4y1o7mZ/） | |
|
专项生成技术阶段（3-4 个月） |
文本生成技术 |
1. 核心任务：文本续写、摘要生成、问答生成、代码生成、诗歌/小说生成、指令跟随；2. 关键技术：自回归生成、束搜索（Beam Search）、采样策略（Top-k、Top-p、Temperature）、上下文学习（In-context Learning）；3. 2025 最新：长文本生成（10万字+）、领域文本生成（医疗/法律/金融）、多语言文本生成；4. 优化技术：幻觉抑制、事实一致性增强、可控长度生成 |
1. OpenAI 文本生成文档（https://platform.openai.com/docs/guides/generation）；2. Hugging Face 文本生成教程（https://huggingface.co/docs/transformers/tasks/text-generation）；3. SQuAD 问答数据集（https://rajpurkar.github.io/SQuAD-explorer/）；4. CodeXGLUE 代码生成数据集（https://github.com/microsoft/CodeXGLUE） |
1. https://github.com/openai/openai-cookbook；2. https://github.com/huggingface/transformers/tree/main/examples/pytorch/text-generation；3. https://github.com/microsoft/CodeXGLUE；4. https://github.com/facebookresearch/fairseq/tree/main/examples/translation；5. https://github.com/allenai/allennlp/tree/main/allennlp/models/reading_comprehension |
1. B 站 GPT-4o 文本生成实战（https://www.bilibili.com/video/BV1xH4y1W7bX/）；2. YouTube 代码生成教程（https://www.youtube.com/watch?v=2xxziIWmaSA）；3. 慕课网 文本摘要生成实战（https://www.imooc.com/course/list?c=ai&keyword=文本摘要）；4. B 站 上下文学习教程（https://www.bilibili.com/video/BV1n8411i7bH/） |
|
图像/视频生成技术 |
1. 图像生成：文生图（Stable Diffusion 3、MidJourney v7）、图生图、图像编辑（InPaint）、风格迁移、超分辨率（Real-ESRGAN）；2. 视频生成：文生视频（Sora 技术原理、Pika Labs）、图生视频、视频编辑、动态生成；3. 2025 技术：实时视频生成、高分辨率视频（4K+）、3D 图像生成；4. 可控技术：姿态控制、场景控制、内容控制 |
1. MidJourney 官网（https://www.midjourney.com/）；2. Pika Labs 官网（https://pika.art/）；3. Real-ESRGAN 官网（https://github.com/xinntao/Real-ESRGAN）；4. 视频生成论文合集（https://paperswithcode.com/task/video-generation） |
1. https://github.com/Stability-AI/generative-models；2. https://github.com/xinntao/Real-ESRGAN；3. https://github.com/facebookresearch/genimi-video；4. https://github.com/Pika-Labs/pika-labs-api；5. https://github.com/lllyasviel/ControlNet |
1. B 站 Stable Diffusion 3 实战（https://www.bilibili.com/video/BV1wH4y1o7rZ/）；2. YouTube 文生视频教程（https://www.youtube.com/watch?v=4z6tPpB5z0Y）；3. B 站 图像编辑实战（https://www.bilibili.com/video/BV1sb411i7aT/）；4. 超分辨率重建教程（https://www.youtube.com/watch?v=u89XH6cC294） | |
|
音频/语音生成技术 |
1. 核心任务：文本转语音（TTS）、语音合成、语音转换、音乐生成、声音效果生成；2. 经典模型：Tacotron 2、WaveNet、VITS（Variational Inference with adversarial learning for end-to-end Text-to-Speech）；3. 2025 最新：情感 TTS、多语言 TTS、实时 TTS、高保真音乐生成；4. 技术要点：声码器优化、韵律建模、情感迁移 |
1. Tacotron 2 论文（https://arxiv.org/abs/1712.05884）；2. VITS 论文（https://arxiv.org/abs/2106.06103）；3. Hugging Face Speech 文档（https://huggingface.co/docs/transformers/tasks/text-to-speech）；4. LJSpeech 数据集官网（https://keithito.com/LJ-Speech-Dataset/） |
1. https://github.com/NVIDIA/tacotron2；2. https://github.com/jaywalnut310/vits；3. https://github.com/huggingface/transformers/tree/main/examples/pytorch/text-to-speech；4. https://github.com/magenta/magenta（音乐生成）；5. https://github.com/coqui-ai/TTS |
1. B 站 VITS 语音合成实战（https://www.bilibili.com/video/BV1vH4y1o7bX/）；2. YouTube TTS 模型教程（https://www.youtube.com/watch?v=3yPBVii7Ct0）；3. B 站 音乐生成教程（https://www.bilibili.com/video/BV1fH4y1o7qZ/）；4. 语音转换实战（https://www.youtube.com/watch?v=zR1lO2Z0Xz0） | |
|
多模态生成技术 |
1. 核心概念：跨模态对齐、多模态融合、统一生成模型；2. 经典模型：CLIP（文本-图像对齐）、BLIP-2（多模态生成）、GPT-4o（文本-图像-音频-视频）、Qwen-VL-Max（通义千问多模态）；3. 2025 最新：多模态 Agent、跨模态编辑、多模态内容创作；4. 应用场景：视觉问答（VQA）、图文生成、音视频同步生成、数字人多模态交互 |
1. CLIP 官网（https://openai.com/research/clip）；2. BLIP-2 论文（https://arxiv.org/abs/2301.12597）；3. GPT-4o 官网（https://openai.com/gpt-4o）；4. 通义千问官网（https://tongyi.aliyun.com/）；5. VQA 挑战赛官网（https://visualqa.org/） |
1. https://github.com/openai/CLIP；2. https://github.com/salesforce/LAVIS/tree/main/projects/blip2；3. https://github.com/QwenLM/Qwen2-VL；4. https://github.com/huggingface/diffusers/tree/main/examples/multimodal；5. https://github.com/facebookresearch/FLAVA |
1. B 站 CLIP 原理与实战（https://www.bilibili.com/video/BV1wH4y1o7rZ/）；2. YouTube GPT-4o 多模态教程（https://www.youtube.com/watch?v=Z782P1J7840）；3. B 站 视觉问答实战（https://www.bilibili.com/video/BV1hE411t7RN/）；4. 多模态生成进阶课（https://www.youtube.com/watch?v=3K0ZgGQH04A） | |
|
检索增强生成（RAG） |
1. 核心原理：外部知识库检索+LLM 生成、上下文增强；2. 技术流程：文档加载、文本分块、向量嵌入、向量检索、结果重排序、生成优化；3. 2025 最新：Agentic RAG（智能体驱动 RAG）、多模态 RAG、个性化 RAG；4. 工程要点：检索效率优化、混合检索策略、长期记忆机制；5. 应用场景：企业知识库问答、法律法条检索、医疗文献问答 |
1. LangChain 官网（https://www.langchain.com/）；2. LlamaIndex 官网（https://www.llamaindex.ai/）；3. RAG 技术指南（https://www.pinecone.io/learn/series/rag/）；4. Pinecone 向量数据库文档（https://docs.pinecone.io/） |
1. https://github.com/langchain-ai/langchain；2. https://github.com/run-llama/llama_index；3. https://github.com/pinecone-io/examples/tree/master/learn/generation/llm-field-guide；4. https://github.com/facebookresearch/faiss（向量检索）；5. https://github.com/weaviate/weaviate |
1. B 站 LangChain RAG 实战（https://www.bilibili.com/video/BV1n8411i7bH/）；2. YouTube LlamaIndex 教程（https://www.youtube.com/watch?v=3yPBVii7Ct0）；3. 慕课网 企业级 RAG 开发（https://www.imooc.com/course/list?c=ai&keyword=RAG）；4. B 站 向量数据库实战（https://www.bilibili.com/video/BV1qH4y1o7xZ/） | |
|
大模型训练与优化阶段（3-4 个月） |
大模型预训练技术 |
1. 预训练数据准备：海量数据采集、数据清洗、数据去重、数据格式化；2. 预训练策略：自回归预训练、掩码语言模型预训练、多任务预训练；3. 训练框架：Megatron-LM、DeepSpeed、Colossal-AI、FairScale；4. 2025 技术：增量预训练、领域预训练、多模态预训练；5. 硬件适配：GPU 集群、TPU、分布式训练（数据并行、模型并行、流水线并行） |
1. DeepSpeed 官网（https://www.deepspeed.ai/）；2. Megatron-LM 文档（https://github.com/NVIDIA/Megatron-LM）；3. Colossal-AI 官网（https://www.colossalai.org/）；4. FairScale 文档（https://fairscale.readthedocs.io/）；5. 分布式训练指南（https://pytorch.org/docs/stable/distributed.html） |
1. https://github.com/microsoft/DeepSpeed；2. https://github.com/NVIDIA/Megatron-LM；3. https://github.com/hpcaitech/ColossalAI；4. https://github.com/facebookresearch/fairscale；5. https://github.com/pytorch/examples/tree/master/distributed/ddp |
1. B 站 DeepSpeed 分布式训练（https://www.bilibili.com/video/BV1yV4y1o7aK/）；2. YouTube Megatron-LM 教程（https://www.youtube.com/watch?v=zR1lO2Z0Xz0）；3. 慕课网 大模型预训练实战（https://www.imooc.com/course/list?c=ai&keyword=大模型预训练）；4. B 站 分布式训练原理（https://www.bilibili.com/video/BV1bt411o7cV/） |
|
大模型微调技术 |
1. 全参数微调：适用场景、优缺点、硬件要求；2. 参数高效微调（PEFT）：LoRA（低秩适配）、QLoRA（量化 LoRA）、AdaLoRA、Prefix Tuning、Prompt Tuning；3. 2025 最新：混合微调策略、增量微调、多任务微调；4. 微调工程：数据质量控制、灾难性遗忘防控、微调效果评估；5. 领域微调：医疗、法律、金融、教育等垂直领域适配 |
1. Hugging Face PEFT 文档（https://huggingface.co/docs/peft/index）；2. LoRA 论文（https://arxiv.org/abs/2106.09685）；3. QLoRA 论文（https://arxiv.org/abs/2305.14314）；4. 大模型微调指南（https://github.com/huggingface/transformers/blob/main/docs/source/en/training.md） |
1. https://github.com/huggingface/peft；2. https://github.com/artidoro/qlora；3. https://github.com/microsoft/LoRA；4. https://github.com/huggingface/transformers/tree/main/examples/pytorch/language-modeling；5. https://github.com/facebookresearch/llama-recipes |
1. B 站 LoRA 微调实战（https://www.bilibili.com/video/BV1yV4y1o7aK/）；2. YouTube QLoRA 教程（https://www.youtube.com/watch?v=9G7P3LzQEVs）；3. 慕课网 大模型领域微调（https://www.imooc.com/course/list?c=ai&keyword=大模型微调）；4. B 站 灾难性遗忘防控（https://www.bilibili.com/video/BV1rH4y1o7mZ/） | |
|
大模型评估与优化 |
1. 评估指标：文本生成（PPL、BLEU、ROUGE、METEOR）、图像生成（FID、IS、CLIP Score）、多模态（MMLU、MT-Bench）；2. 优化技术：模型量化（INT4/INT8/FP8）、模型蒸馏、剪枝、知识蒸馏；3. 2025 优化：推理加速（TensorRT、ONNX Runtime）、内存优化、能耗优化；4. 安全优化：幻觉抑制、偏见缓解、内容审核、对抗样本防御 |
1. EvalAI 官网（https://eval.ai/）；2. MT-Bench 官网（https://github.com/lm-sys/FastChat/tree/main/fastchat/llm_judge）；3. TensorRT 官网（https://developer.nvidia.com/tensorrt）；4. ONNX Runtime 文档（https://onnxruntime.ai/docs/）；5. 大模型安全指南（https://ai.meta.com/research/publications/llama-3-responsible-ai-usage-guide/） |
1. https://github.com/lm-sys/FastChat；2. https://github.com/EleutherAI/lm-evaluation-harness；3. https://github.com/NVIDIA/TensorRT；4. https://github.com/microsoft/onnxruntime；5. https://github.com/huggingface/transformers/tree/main/examples/research_projects/distillation；6. https://github.com/facebookresearch/GPTQ |
1. B 站 大模型评估指标实战（https://www.bilibili.com/video/BV1sH4y1o7qZ/）；2. YouTube 模型量化教程（https://www.youtube.com/watch?v=3K0ZgGQH04A）；3. B 站 TensorRT 推理加速（https://www.bilibili.com/video/BV1pK4115776/）；4. 慕课网 大模型安全优化（https://www.imooc.com/course/list?c=ai&keyword=大模型安全） | |
|
RLHF 与模型对齐 |
1. RLHF 核心流程：监督微调（SFT）、奖励模型训练（RM）、强化学习（RL）；2. 关键技术：奖励模型设计、策略优化、价值对齐；3. 2025 最新：RLAIF（基于 AI 反馈的强化学习）、多目标对齐、跨语言对齐；4. 应用场景：对话模型优化、生成内容质量提升、安全合规适配；5. 工程挑战：反馈数据质量、训练稳定性、对齐效果评估 |
1. RLHF 论文（https://arxiv.org/abs/1909.08593）；2. RLAIF 论文（https://arxiv.org/abs/2212.08073）；3. Hugging Face TRL 文档（https://huggingface.co/docs/trl/index）；4. OpenAI RLHF 指南（https://platform.openai.com/docs/guides/rlhf） |
1. https://github.com/lvwerra/trl；2. https://github.com/openai/lm-human-preferences；3. https://github.com/facebookresearch/llama-recipes/tree/main/examples/rlhf；4. https://github.com/anthropics/anthropic-rlhf；5. https://github.com/microsoft/DeepSpeedExamples/tree/master/applications/rlhf |
1. B 站 RLHF 原理与实战（https://www.bilibili.com/video/BV1fH4y1o7qZ/）；2. YouTube RLHF 训练教程（https://www.youtube.com/watch?v=zR1lO2Z0Xz0）；3. 慕课网 模型对齐技术（https://www.imooc.com/course/list?c=ai&keyword=模型对齐）；4. B 站 RLAIF 进阶（https://www.bilibili.com/video/BV1xH4y1W7bX/） | |
|
工程化与项目实战阶段（2-3 个月） |
生成式AI项目实战 |
1. 基础项目：文本生成器（基于 GPT-4o API）、文生图工具（基于 Stable Diffusion 3）、简单聊天机器人（基于 LLaMA 3）、TTS 语音合成；2. 进阶项目：企业知识库问答系统（RAG+LangChain）、多模态内容创作平台、代码生成助手、图像编辑工具；3. 前沿项目：AI 智能体（AutoGPT）、多模态 Agent 系统、数字人交互系统、文生视频平台；4. 竞赛项目：Kaggle 生成式AI竞赛、Hugging Face 挑战赛 |
1. Kaggle 生成式AI竞赛（https://www.kaggle.com/categories/generative-ai）；2. Hugging Face Spaces（https://huggingface.co/spaces）；3. LangChain 实战教程（https://python.langchain.com/docs/get_started/introduction）；4. AutoGPT 官网（https://agpt.co/）；5. 数字人开发平台（https://www.aliyun.com/product/digital-human） |
1. https://github.com/openai/openai-cookbook；2. https://github.com/langchain-ai/langchain/tree/master/examples/chatbot；3. https://github.com/Stability-AI/generative-models/tree/main/examples；4. https://github.com/Significant-Gravitas/AutoGPT；5. https://github.com/facebookresearch/llama-agentic-system；6. https://github.com/huggingface/transformers/tree/main/examples/community |
1. B 站 企业知识库问答系统实战（https://www.bilibili.com/video/BV1n8411i7bH/）；2. YouTube 文生图工具开发（https://www.youtube.com/watch?v=3yPBVii7Ct0）；3. B 站 AutoGPT 实战（https://www.bilibili.com/video/BV1fH4y1o7qZ/）；4. 慕课网 生成式AI竞赛指南（https://www.imooc.com/course/list?c=ai&keyword=AI竞赛） |
|
生成式AI工程化部署 |
1. 模型部署技术：Docker 容器化、RESTful API 开发（FastAPI/Flask）、模型服务化（TorchServe/TensorFlow Serving）；2. 云端部署：AWS SageMaker、GCP AI Platform、阿里云机器学习平台、华为云 ModelArts；3. 边缘部署：边缘设备适配、轻量化模型部署、低功耗优化；4. 工程架构：分层架构设计、多环境隔离、高并发处理、异步任务处理；5. 监控运维：性能监控、日志管理、模型版本管理、故障排查 |
1. Docker 官网（https://www.docker.com/）；2. FastAPI 文档（https://fastapi.tiangolo.com/）；3. TorchServe 文档（https://pytorch.org/serve/）；4. AWS SageMaker 文档（https://docs.aws.amazon.com/sagemaker/）；5. 阿里云机器学习平台（https://www.aliyun.com/product/ai/机器学习平台pai） |
1. https://github.com/tiangolo/fastapi；2. https://github.com/pytorch/serve；3. https://github.com/docker/awesome-compose；4. https://github.com/aws/sagemaker-examples；5. https://github.com/alibaba/Pai-EasyDL/tree/master/docs；6. https://github.com/microsoft/DeepSpeedExamples/tree/master/applications/model-deployment |
1. B 站 Docker 容器化部署（https://www.bilibili.com/video/BV1qH4y1o7xZ/）；2. YouTube FastAPI 模型部署（https://www.youtube.com/watch?v=7t2alSnE2-I）；3. B 站 云端部署实战（https://www.bilibili.com/video/BV1bt411o7cV/）；4. 慕课网 模型服务化开发（https://www.imooc.com/course/list?c=cloud&keyword=模型部署） | |
|
成本优化与安全合规 |
1. 成本优化：Token 用量监控、模型选型优化、量化推理、资源弹性调度；2. 安全防护：API 密钥管理、访问控制、数据加密、对抗攻击防御；3. 合规要求：数据隐私保护（GDPR/个人信息保护法）、内容合规审核、知识产权保护；4. 2025 合规趋势：生成内容溯源、AI 伦理规范、算法透明度要求 |
1. AWS 成本管理（https://aws.amazon.com/cn/aws-cost-management/）；2. 个人信息保护法官网（https://www.npc.gov.cn/npc/c30834/202108/t20210820_3248315.html）；3. GDPR 官网（https://gdpr-info.eu/）；4. AI 伦理指南（https://digital-strategy.ec.europa.eu/en/library/ethics-guidelines-trustworthy-ai）；5. Weights & Biases 成本监控（https://wandb.ai/） |
1. https://github.com/wandb/client；2. https://github.com/aws/aws-cost-explorer-reporting；3. https://github.com/owasp/ai-security-and-privacy-guide；4. https://github.com/microsoft/responsible-ai-toolbox；5. https://github.com/facebookresearch/ai-harmonization |
1. B 站 大模型成本优化实战（https://www.bilibili.com/video/BV1sH4y1o7qZ/）；2. YouTube AI 安全防护教程（https://www.youtube.com/watch?v=zR1lO2Z0Xz0）；3. 慕课网 生成式AI合规指南（https://www.imooc.com/course/list?c=ai&keyword=AI合规）；4. B 站 数据隐私保护实战（https://www.bilibili.com/video/BV1qH4y1o7xZ/） | |
|
求职与进阶提升 |
1. 求职准备：生成式AI工程师面试题整理、项目简历撰写、技术博客写作（知乎/掘金）、开源项目贡献；2. 进阶方向：大模型算法研究员、生成式AI工程架构师、多模态AI专家、AI产品经理（生成式方向）；3. 学术研究：顶会论文阅读（NeurIPS/ICML/ICLR/ACL）、论文复现、研究方向探索（可控生成、低资源生成、AI对齐）；4. 社区交流：技术社区参与、行业会议参加、开源贡献 |
1. NeurIPS 官网（https://neurips.cc/）；2. ICML 官网（https://icml.cc/）；3. 知乎生成式AI专栏（https://www.zhihu.com/topic/26168946）；4. 掘金技术社区（https://juejin.cn/topic/6848723216349775885）；5. GitHub Jobs（https://jobs.github.com/） |
1. https://github.com/graykode/nlp-paper-with-code；2. https://github.com/agrimgupta92/sgan；3. https://github.com/huggingface/papers-with-code；4. https://github.com/facebookresearch/fairseq；5. https://github.com/pytorch/pytorch |
1. B 站 生成式AI面试题精讲（https://www.bilibili.com/video/BV1fH4y1o7qZ/）；2. YouTube 顶会论文精读（https://www.youtube.com/watch?v=zR1lO2Z0Xz0）；3. 慕课网 开源项目贡献指南（https://www.imooc.com/course/list?c=opensource&keyword=开源贡献）；4. B 站 生成式AI进阶路径（https://www.bilibili.com/video/BV1xH4y1W7bX/） |
...全文
请发表友善的回复…
发表回复
