主流AI模型推理部署框架有哪些？？

霍大神 2021-09-09 14:00:59

主流AI模型推理部署框架有哪些？？

...全文
2044 1 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
weixin_38498942 2021-09-09
  • 打赏
  • 举报
 回复

英特尔的OpenVINO，英伟达的TensorRT,谷歌的Mediapipe，高通的SNPE，赛灵思xilinux AI，华为升腾CANN

大模型推理框架是什么？推理框架综述！一文详解推理框架的原理和运用
大模型推理框架是什么？推理框架综述！一文详解推理框架的原理和运用
模型推理部署框架选择
开放神经网络交换 ONNX（Open Neural Network Exchange）是一套表示深度神经网络模型的开放格式，由微软和 Facebook 于 2017 推出，然后迅速得到了各大厂商和框架的支持。通过短短几年的发展，已经成为表示深度学习模型的实际标准，并且通过 ONNX-ML，可以支持传统非神经网络机器学习模型，大有一统整个 AI 模型交换标准。功能定位：ONNX是一个模型表示格式，用于模型的互操作性和转换；而ONNX Runtime是一个高性能推理引擎，用于模型的优化和运行。应用场景。
一文梳理主流大模型推理部署框架：vLLM、SGLang、TensorRT-LLM、ollama、XInference
大模型推理部署框架的选择应基于业务需求、硬件资源和未来扩展规划。vLLM和TensorRT-LLM在企业级高并发场景下表现最佳，SGLang在高吞吐量和多轮对话场景下具有明显优势，Ollama适合个人开发和快速原型验证，XInference和LightLLM则在分布式部署和边缘计算方面展现出潜力，LMDeploy和昇腾框架则在国产硬件适配上具有独特优势。如何学习AI大模型？“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。
大模型推理部署框架怎么选？：vLLM、SGLang、TensorRT-LLM、ollama、XInference框架对比
大模型推理部署框架怎么选？：vLLM、SGLang、TensorRT-LLM、ollama、XInference框架对比
大模型推理部署框架怎么选？一文对比 vLLM、TensorRT-LLM、Ollama 等主流方案
大模型推理部署框架怎么选？一文对比 vLLM、TensorRT-LLM、Ollama 等主流方案
高通开发者论坛

5,379

社区成员

5,923

社区内容

发帖
与我相关
我的任务
社区描述
本论坛以AI、WoS 、XR、IoT、Auto、生成式AI等核心板块组成，为开发者提供便捷及高效的学习和交流平台。 高通开发者专区主页：https://qualcomm.csdn.net/
人工智能物联网机器学习 技术论坛（原bbs） 北京·东城区
社区管理员
  • csdnsqst0050
  • chipseeker
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章