现代C++中的从头开始深度学习【2/8】：张量编程

AI大视野
领域专家: 人工智能技术领域
2023-08-09 11:55:16
...全文
34 回复 打赏 收藏 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
CUDA 9中张量核（Tensor Cores）编程
本文详细介绍了CUDA 9中张量核（Tensor Cores）的编程，包括张量核的概念、优势和在CUDA库（cuBLAS、cuDNN）中的应用。张量核提供高吞吐量的矩阵运算，适用于深度学习和高计算需求的场景。通过简单的代码示例展示了如何在cuBLAS和cuDNN中启用张量核，以及如何在CUDA C++中直接编程使用张量核。
ik_llama.cpp混合GPU/CPU推理：3大智能张量覆盖策略实现性能突破
ik_llama.cpp通过三大智能张量覆盖策略实现GPU/CPU混合推理性能突破：动态后端分配机制实时调度计算任务，内存复用与覆盖降低显存峰值，自适应负载均衡优化跨设备协同。支持IQ4_XS/Q4_K_M/Q6_K等SOTA量化格式，适配边缘部署、云端服务及研发场景，提供层分配调优、KV缓存复用、多GPU张量分割等关键技术。
【Cpp LibTorch深度学习】PyTorch On CPP 系列课程 第二章 04 ：张量高级操作【AI Infra 3.0】[PyTorch CPP硕士研一课程]
本文系统讲解LibTorch（C++版PyTorch）中张量的高级操作，涵盖布尔索引、整数数组索引、切片与视图机制；reshape、view、permute等维度变换方法及其连续性约束；cat与stack的张量合并差异，以及chunk与split的分割策略。强调GPU/CPU设备迁移、数据类型转换及广播机制在深度学习数据预处理与模型构建中的关键作用。
PyTorch 2.8深度学习镜像中的C++扩展开发指南
本文详解在PyTorch 2.8深度学习镜像中开发C++扩展的全流程，涵盖环境配置（LibTorch、CMake、编译器）、自定义算子（如Swish激活函数）实现、ATen张量操作、自动微分支持、多线程优化及调试方法。重点突出性能提升（5–10倍）、GPU/CPU协同加速与生产级部署实践。
人工智能旅行团

2

社区成员

331

社区内容

发帖
与我相关
我的任务
社区描述
从事图像处理和人工智能十年以上，从事人工智能教学7年以上；擅长数学，能熟练应用泛函分析、随机过程、逼近论、射影几何等数学理论。
计算机视觉数据挖掘自然语言处理 个人社区 北京·房山区
社区管理员
  • 无水先生
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章