如何评估kernel函数内部子模块的耗时

2020-12-08 02:35:56 722 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

GPU Kernel优化新范式：预算感知的智能体搜索与性能调优实战 GPU Kernel优化是提升深度学习模型训练与推理效率的核心技术，其核心原理在于通过调整线程块配置、内存访问模式等参数，最大化流多处理器（SM）的占用率与计算吞吐。传统手动调优或自动调优框架常面临搜索空间维度爆炸与计算资源消耗巨大的挑战，难以在有限预算内实现高效优化。其技术价值在于显著提升GPU算力利用率，降低模型训练成本与延迟，是应对大模型时代算力焦虑的关键工程实践。应用场景广泛覆盖矩阵乘法、卷积等计算密集型算子，尤其在大型语言模型（LLM）推理与训练中至关重要。本文探讨的“从粗到细、预算感知的智能体搜阅读详情

请教大神，我在kernel函数内部，不停地产生伪随机的原始数据，然后对原始数据进行算法处理，最后，定时（比如每隔10秒）将数据处理的结果传回CPU端。现在，我想通过profile评估kernel函数内部各个子模块的耗时，却发现行不通。因为profile只会显示整个kernel函数的耗时，而不能再细化到子模块。想请教，如何看到各个子模块的耗时。难道我只能把各个子模块拆分为单独的kernel函数才能评估耗时么？但这样就会导致GPU与CPU之间的数据交互变得复杂且低效。

...全文