如何选择一个合适的深度学习推理框架？？

窈窕淑女` 2021-09-09 14:02:28

如何选择一个合适的深度学习推理框架？？

...全文
1822 1 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
weixin_38498942 2021-09-09
  • 打赏
  • 举报
 回复

可以从几方面考虑：

  1. 支持哪些训练框架的模型格式，例如TensorFlow、Pytorch、Caffe以及ONNX等
  2. 支持哪些种类的网络模型，例如CNN、RNN、GNN网络等
  3. 支持在哪些硬件设备上推理，例如云上服务器、移动终端、IoT设备、PC等
  4. 框架的易用性、体积大小、性能
  5. 是否开源以及社区的活跃度，详情链接： https://www.zhihu.com/question/346965029/answer/1705931732
深度学习推理框架汇总
它支持跨平台部署，包括 CPU、GPU、移动设备等，并提供了 C++、Python 和 Java 等多种语言的 API。它提供了高性能、可扩展、灵活的模型部署和推理服务。TensorRTX：TensorRTX 是英伟达推出的一款基于 TensorRT 的深度学习推理框架，提供了更多的优化和扩展功能，适用于高性能和低延迟的推理需求。OpenVINO 是英特尔推出的深度学习推理工具包，支持针对英特尔 CPU、GPU、VPU（Vision Processing Unit）等硬件进行优化的推理。
深度学习推理框架
目前主流的推理框架有：阿里的mnn，腾讯的ncnn，NVIDIA的TensorRT，Intel的OpenVINO 深度学习推理框架 如何选择深度学习推理框架？ 如何评价阿里开源的移动端深度学习推理框架mnn MNN深度神经网络推理引擎 MNN专栏--MirrorYuChen MNN框架学习（一）：编译及使用 MNN框架学习（二）：使用MNN部署模型 ......
MNN：轻量级深度学习推理框架的优雅之选
MNN作为一款轻量级深度学习推理框架，凭借其高效性能、易用性和灵活扩展性，成为了众多开发者的首选。通过本文的介绍，相信您已经对MNN有了更深入的了解。无论是移动端应用开发还是深度学习模型部署，MNN都能为您提供优雅而高效的解决方案。让我们一起领略MNN带来的深度学习推理之美吧！在人工智能和深度学习飞速发展的今天，选择一款合适的推理框架至关重要。MNN以其卓越的性能和易用性，为开发者提供了强大的支持。相信在不久的将来，MNN将会在更多领域发挥重要作用，推动深度学习技术的广泛应用和发展。
从零编写深度学习推理框架-第一课-前言
这是一门结合C++和深度学习的开源课程，《从零编写深度学习推理框架》，学会怎么上手一个现代风格 C++项目。对于以后的面试和求职都是一个不错的项目哦！
TensorRT深度学习推理框架介绍
一.  产生背景       深度学习的发展带动了一批深度学习框架，caffe、tensorflow、pytorch等，对于计算量庞大的CNN，效率一直是大家所关注的，接触过深度网络压缩的同学应该知道网络压缩最关键的两个思路，剪枝和量化。       TensorRT就是量化，将FP32位权值数据优化为 FP16 或者 INT8，而推理精度不发生明显的降低。       关于TensorRT首先要...
高通开发者论坛

2,853

社区成员

5,760

社区内容

发帖
与我相关
我的任务
社区描述
本论坛以AI、WoS 、XR、IoT、Auto、生成式AI等核心板块组成，为开发者提供便捷及高效的学习和交流平台。 高通开发者专区主页：https://qualcomm.csdn.net/
人工智能物联网机器学习 技术论坛（原bbs） 北京·东城区
社区管理员
  • csdnsqst0050
  • chipseeker
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章