Fast.ai 深度学习实战课程第7课：CNN architectures

AI100 2023-01-12 23:11:06

课时名称	课时知识点
Fast.ai 深度学习实战课程第7课：CNN architectures

...全文

190 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

本文系统梳理了计算机视觉领域核心方向的经典与前沿论文，涵盖目标检测（RCNN、YOLO、Faster R-CNN、DETR）、图像分类（ResNet、EfficientNet、ViT）、数据增强（AutoAugment、CutMix）、注意力机制（SENet、CBAM、CA）、轻量化模型（MobileNet、ShuffleNet）、3D视觉（RAFT、Stereo Matching）及AIGC基础（Transformer）。同时介绍CVPR、ICCV、ECCV等顶会与PAMI等权威期刊的评审机制与学术生态，聚焦深度学习在视觉任务中的演进脉络与技术范式。

本文系统梳理了Transformer架构自2017年提出以来的语言模型技术演化脉络，重点涵盖自注意力机制、BERT双向编码器、LLaMA基础模型、LoRA微调、FlashAttention优化、RAG检索增强、智能体架构（含Skills技能机制与Openclaw桌面级GUI操作）、知识蒸馏与量化等关键技术。强调Transformer如何解决RNN/CNN的长程依赖与并行瓶颈，并推动大模型从理解（BERT）到生成（GPT）、再到具身智能（CTM、Openclaw）的范式跃迁。

本文详解如何利用Ludwig低代码框架实现大语言模型的LoRA微调，涵盖ECD架构对LLM的天然适配性、LoRA在Ludwig中的自动模块发现、梯度优化与推理一致性保障机制，以及基于YAML声明式配置替代数百行胶水代码的工程实践。内容聚焦于Alpaca数据集预处理、QLoRA显存优化、Hugging Face模型集成及端到端可复现训练流程，强调其在业务场景中提升微调效率与降低技术门槛的核心价值。

本文系统梳理了Mamba模型的技术脉络：从Transformer的二次复杂度瓶颈出发，引出状态空间模型（SSM）作为替代范式；详解SSM的数学基础、HiPPO对长程依赖的建模、S4/S4D的离散化与结构化改进；重点剖析Mamba三大创新——选择性状态机制（动态B/C/Δ）、硬件感知并行扫描（借鉴Flash Attention）、简化SSM架构。强调其线性时间复杂度、5倍推理吞吐优势及对输入的选择性建模能力。

本文系统讲解神经架构搜索（NAS）在YOLOv11端侧部署中的工程化应用，涵盖NAS三要素（搜索空间、搜索策略、评估方法），重点剖析硬件感知的延迟建模、多目标帕累托优化、DARTS可微分搜索与NSGA-II进化搜索实战，并结合延迟查找表（LUT）、剪枝与蒸馏联合优化，实现精度-延迟协同最优。内容聚焦ARM等边缘设备适配，强调代理指标设计、搜索空间裁剪及端到端验证。

AI100讲师的课程社区_NO_1

1

社区成员

217

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章