高通 QNN 自定义算子开发，在 Hexagon HTP 上实现自定义算子，为什么不能直接使用 malloc/new 做动态内存分配？

ku酒入喉 2026-09-23 14:52:05

高通 QNN 自定义算子开发，在 Hexagon HTP 上实现自定义算子，为什么不能直接使用 malloc/new 做动态内存分配？

...全文

55 1 打赏收藏举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

weixin_38498942 09-24 13:48

打赏
举报

回复

Hexagon HTP 内核环境没有完整操作系统支持，不支持堆内存动态分配。自定义算子代码中禁止 malloc、new、std::vector 这类依赖堆内存的接口，所有内存必须使用静态分配。开发规范：算子内部预先定义固定大小的全局数组，提前评估最大输入输出张量尺寸；张量内存由 QNN 框架统一管理，自定义算子仅做计算逻辑。如果内存大小不确定，需要在算子 prepare 阶段校验张量维度，超出预设上限直接返回错误码。参考文档：https://quic.github.io/cloud-ai-sdk-pages/1.15/Getting-Started/Features/custom_ops/

端侧AI部署正从实验室验证走向规模化量产，模型量化与推理性能优化成为算法工程师和嵌入式开发者必须直面的工程挑战。面对NPU、GPU、CPU等异构计算单元，如何用一套工具链高效落地模型，是行业高频关注的技术痛点。Qualcomm AI Engine Direct（QNN）作为高通新一代AI推理框架，以Direct的架构理念实现了对底层算力的直接调度，让开发者无需针对每代芯片重复适配。本文基于实际项目调优经历，系统梳理QNN的架构设计、模型转换流程、PTQ量化策略、上下文二进制生成机制，并深入对比HTP与CPU

移动端深度学习模型部署是计算机视觉领域的关键技术，其核心目标是在资源受限的设备上实现高效推理。通过底层硬件加速和算法优化，可以显著提升模型运行效率。在工程实践中，直接利用C++ Native层进行全流程处理，能有效减少运行时开销和内存拷贝，这对于实时性要求高的应用场景尤为重要。结合Qualcomm Neural Processing SDK（QNN）的专用硬件加速能力与TensorFlow Lite（TFLite）的跨平台灵活性，可以构建高性能的推理引擎。本文以YOLOv26目标检测模型为例，深入探讨在An

目标检测是计算机视觉的核心任务之一，旨在识别图像或视频中的物体并定位其位置。其原理通常基于深度卷积神经网络，通过提取图像特征并预测边界框与类别。这项技术对于实现设备端智能至关重要，它能在保护数据隐私的同时提供实时响应。在移动端部署高性能模型，尤其是YOLO系列的最新变体，面临着平衡精度与速度的挑战。通过利用TensorFlow Lite（TFLite）这一轻量级推理框架，可以将训练好的模型高效转换为移动端格式。为了进一步释放硬件潜能，可以集成如高通神经处理SDK（QNN）等硬件加速委托，将计算任务卸载到专用

端侧大模型正从概念走向量产，其核心在于轻量化部署与硬件协同推理。2Bit量化并非简单精度削减，而是通过分组非对称量化与激活感知校准，在保障中文语义连贯性前提下，实现计算密度跃升与功耗显著降低；GGUF-int2作为新兴端侧模型封装格式，已超越传统文件规范，集成NPU指令标识、ZSTD按需解压与TrustZone安全执行等关键能力，成为手机AI落地的‘可信交付协议’。该技术路径正推动教育、办公、工具类App摆脱云端依赖，实现离线低延迟响应。本文以腾讯混元HY-1.8B-2Bit为典型范例，系统解析2Bit量化

深夜想同时盯几场直播：B站的主播刚开麦，虎牙那边是场决赛，抖音里还有个老熟人。按常规做法，你要在手机里来回切四五个应用。Simple Live 就是冲着这件事来的——一个用 Flutter 写的跨平台直播聚合应用，作者给自己的定位很朴素：简简单单的看直播。 ## 它到底是什么一句话：把哔哩哔哩、斗鱼、虎牙、抖音四个平台的直播，收进同一个界面里看。它面向的不是直播创作者，而是需要在多个平台之间

高通开发者论坛

7,720

社区成员

6,460

社区内容

发帖

与我相关

我的任务

物联网人工智能开源企业社区北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章