SNPE中UserBufferEncodingTfN和UserBufferEncodingFloat用法上有什么区别吗?是不是量化模型只能用UserBufferEncodingTfN?

阿斯兰查拉 2024-05-14 13:58:50

SNPE中UserBufferEncodingTfN和UserBufferEncodingFloat用法上有什么区别吗?是不是量化模型只能用UserBufferEncodingTfN?

...全文
1111 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
weixin_38498942 2024-05-14
  • 打赏
  • 举报
回复

对于您的前一个问题,用法上确实存在区别。如果您申请的是UserBufferEncodingTfN的UserBuffer(这里以uFxp_8为例),那么实际上其data指针应该是uint8_t类型的,您可以通过getStepExactly0和getQuantizedStepSize读出zp和scale,然后手动把您的浮点数转为定点数放入userbuffer(或是把userbuffer中的定点数手动转为浮点数使用),而如果您申请的是UserBufferEncodingFloat,您写入和读出的都是float类型的数据,剩下的snpe会自动帮您完成。对于您的第二个问题,不是。使用UserBufferEncodingFloat会更简洁/更方便,但是UserBufferEncodingTfN会更快。

2,361

社区成员

发帖
与我相关
我的任务
社区描述
本论坛以AI、WoS 、XR、IoT、Auto、生成式AI等核心板块组成,为开发者提供便捷及高效的学习和交流平台。 高通开发者专区主页:https://qualcomm.csdn.net/
人工智能物联网机器学习 技术论坛(原bbs) 北京·东城区
社区管理员
  • csdnsqst0050
  • chipseeker
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧