现代C++中的从头开始深度学习【2/8】：张量编程

领域专家: 人工智能技术领域

2023-08-09 11:55:16

现代C++中的从头开始深度学习【2/8】：张量编程_无水先生的博客-CSDN博客

...全文

32 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

CUDA 9中编程张量核（Tensor Cores） Programming Tensor Cores in CUDA 9 一．概述新的Volta GPU架构的一个重要特点是它的Tensor核，使Tesla V100加速器的峰值吞吐量是上一代Tesla P100的32位浮点吞吐量的12倍。Tensor内核使人工智能程序员能够使用混合精度来获得更高的吞吐量，而不牺牲精度。 Tensor核心已经在许多深度学习框架（包括Tensorflow、PyTorch、MXNet和Caffe2）中支持深度学习训练，无论是在

在当今大模型推理领域，如何在有限硬件资源下实现最优性能是每个开发者面临的挑战。ik_llama.cpp作为llama.cpp的重要分支，通过创新的智能张量覆盖策略，为混合GPU/CPU推理提供了革命性解决方案。这项技术不仅显著提升了推理效率，更让普通硬件也能发挥出接近专业设备的性能。 ## 问题根源：传统混合推理的瓶颈传统的大模型推理方案在GPU和CPU之间分配计算任务时，往往面临几个关键问

PyTorch高级张量操作摘要本章重点讲解PyTorch中的高级张量操作方法，包括：索引与切片：通过整数索引和切片语法精确访问/修改张量元素，支持多维张量操作。张量重构：使用view()、reshape()和permute()函数改变张量形状而不改变数据内容。张量组合与分割：通过cat()、stack()、split()和chunk()实现张量的合并与拆分。广播机制：自动处理不同形状张量间的运算，使形状兼容的张量能够进行计算。数据类型转换：支持不同数值类型(如float、int)间的转换。设备

本文介绍了如何在星图GPU平台上自动化部署PyTorch 2.8深度学习镜像，并详细解析了C++扩展开发流程。通过该镜像，开发者能够高效实现性能关键路径的优化，如图像处理中的自定义激活函数开发，显著提升深度学习模型的执行效率。

人工智能旅行团

2

社区成员

331

社区内容

发帖

与我相关

我的任务

计算机视觉数据挖掘自然语言处理个人社区北京·房山区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章