91
社区成员
发帖
与我相关
我的任务有一个奇怪的现象，我在310p3上分别部署了sam2和mobilesam，使用的是torchnpu的方式，发现每次都是推理的第一张图片要耗时很久，不算模型转换等的时间，大概第一张图片Sam2要花6多秒，mobilesam要花10多秒，但是后面的每一张图片就很稳定了，Sam2要花0.9s左右，mobilesam要花0.2s左右，这合理吗，还有就是我需要设置jit-compile这个参数为false，而且每次都要从新花很久第一次加载转换模型的样子，torchnpu这种方法有什么办法可以保存转换后的模型，下次直接加载吗，还有就是像Sam2或者mobileSam这样的模型能转成om吗，我只转换成了fastsam，感觉Acllite 还是稳定的快的
...全文
47 3 打赏 收藏 转发到动态 举报
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
weixin_48819642 11小时前
- 打赏
- 举报
1、推理第一张图片速度慢，后续图片速度快，是有一个warmup的过程，可以在正式推理之前加上预热的命令。
2、可以使用pt->onnx->OM，然后用Acllite 跑
Tipriest_ 队员 01-18 16:18
- 打赏
- 举报
mobilesam就是这样的
Tipriest_ 队员 01-18 16:17
- 打赏
- 举报
在npu上部署clip也是的，第一帧要2.+s，第二帧开始就只要0.15+s了，
发帖 与我相关 我的任务社区描述
「智能机器人开发者大赛」官方平台，致力于为开发者和参赛选手提供赛事技术指导、行业标准解读及团队实战案例解析;聚焦智能机器人开发全栈技术闭环，助力开发者攻克技术瓶颈，促进软硬件集成、场景应用及商业化落地 机器人人工智能 高校
社区管理员
加入社区
获取链接或二维码
- 近7日
- 近30日
- 至今
加载中
社区公告
「智能机器人开发者大赛」官方平台，致力于为开发者和参赛选手提供赛事技术指导、行业标准解读及团队实战案例解析;聚焦智能机器人开发全栈技术闭环，助力开发者攻克技术瓶颈，促进软硬件集成、场景应用及商业化落地
试试用AI创作助手写篇文章吧