我希望能够在 Android SNPE 中使用 TF16 用户缓冲区。

weixin_32331335 2025-01-24 10:53:29

我希望能够在 Android SNPE 中使用 TF16 用户缓冲区。目前，有一种方法来自 NeuralNetwork.createTF8UserBufferTensor()。如果我想使用具有 uint16 输出的此类张量，我会收到以下错误：
java.lang.RuntimeException: Unable to start activity ComponentInfo{com.grab.kartadashcam/com.grab.kartadashcam.EvaluationActivity}: com.qualcomm.qti.snpe.SnpeError$NativeException: Failed to forward propagate inputs! Cause: error_code=217; error_message=Buffer transition requested with bad domain or data type Buffer preparation failed: 3786; error_component=Dl System; line_no=1878; thread_id=534696740088
                                                                                                        at android.app.ActivityThread.performLaunchActivity(ActivityThread.java:4401)
                                                                                                        at android.app.ActivityThread.handleLaunchActivity(ActivityThread.java:4597)
                                                                                                        at android.app.servertransaction.LaunchActivityItem.execute(LaunchActivityItem.java:110)
                                                                                                        at android.app.servertransaction.TransactionExecutor.executeCallbacks(TransactionExecutor.java:149)
                                                                                                        at android.app.servertransaction.TransactionExecutor.execute(TransactionExecutor.java:103)
                                                                                                        at android.app.ActivityThread$H.handleMessage(ActivityThread.java:2845)
                                                                                                        at android.os.Handler.dispatchMessage(Handler.java:114)
                                                                                                        at android.os.Looper.loopOnce(Looper.java:206)
                                                                

...全文
631 1 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
weixin_38498942 02-06
  • 打赏
  • 举报
 回复

目前的版本的SNPE的SDK中, 没有办法支持这个版本, 我们和高通的CE沟通, 他们说会在SNPE的 2.32的版本支持这个功能.

骁龙神经处理引擎SDK参考指南（35）
虽然这通常不会影响用于分类的网络的 mAP，但它可能会溢出/下溢，从而影响引擎用于分类以外的用途。示例：snpe-dlc-info 显示来自 Caffe 的 CMRN 层的 alpha 为 2e-05，window_size 为 5，alpha 为 0.0001。在加载任何网络时，GPU 运行时可能会选择将几个层与网络中的先前层合并（压缩），具体取决于层的兼容性。- 对于 CMRN 层，显示的 alpha 值实际上是从 Caffe 转换的模型的 alpha/window_size。批量归一化（+ 缩放）
骁龙神经处理引擎SDK参考指南（33）
snpe-throughput-net-run 在一段时间内同时运行多个 SNPE 实例并测量推理吞吐量。SNPE 的每个实例都可以有自己的模型、指定的运行时和性能配置文件。请注意，“–duration”参数对于创建的 SNPE 的所有实例都是通用的。snpe-pytorch-to-dlc 将序列化的 PyTorch 模型转换为 SNPE DLC 文件。有关更多信息，请参阅PyTorch 模型转换。
基于 NPU/DSP 的图像模型推理框架：SNPE、APU 与 Neural Engine 实战解析
在移动影像系统中，AI 图像算法的实时部署依赖于 NPU/DSP 等专用异构计算单元的高效调度。为充分发挥芯片能力，不同平台推出了各自的推理框架，如高通的 SNPE、联发科的 APU Toolchain，以及 Apple 的 Neural Engine 管理体系。本文结合多款 SoC 芯片的实战部署经验，系统解析上述三种主流推理框架的核心架构、部署流程、模型适配路径与工程调优策略，帮助开发者理解异构计算背后的图像推理机制，提升图像模型在端侧落地的性能与稳定性。
高通神经处理 SDK 开发实战(2)： C++ API 从环境搭建到跨平台推理优化
数据类型值包括 zdl::DlSystem::IOBufferDataType_t::FLOATING_POINT_32、zdl::DlSystem::IOBufferDataType_t::FIXED_POINT_8 和 zdl::DlSystem::IOBufferDataType_t::FIXED_POINT_16。需要注意的是，$CXX 需要根据目标平台进行设置。请注意，输入值只是加载到用户支持的缓冲区中，高通神经处理SDK 可以在其上创建高通神经处理 SDK UserBuffers，如上所示。
Snapdragon Neural Processing Engine SDK(教程)
SNPE提供以下高级API: DL Container Loader: SNPE使用后缀为dlc的模型文件，提供了模型load函数； Molde Vallidation :检查输入模型与所选择的运行后端是否合法； Runtime Engine : 选择运行模式的API, 包括CPU, GPU, DSP和AIP四种运行模式； Partitioning Logic ...
高通开发者论坛

3,770

社区成员

5,820

社区内容

发帖
与我相关
我的任务
社区描述
本论坛以AI、WoS 、XR、IoT、Auto、生成式AI等核心板块组成，为开发者提供便捷及高效的学习和交流平台。 高通开发者专区主页：https://qualcomm.csdn.net/
人工智能物联网机器学习 技术论坛（原bbs） 北京·东城区
社区管理员
  • csdnsqst0050
  • chipseeker
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章