主流AI模型推理部署框架有哪些？？

霍大神 2021-09-09 14:00:59

主流AI模型推理部署框架有哪些？？

...全文

1983 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

weixin_38498942 2021-09-09

打赏
举报

回复

英特尔的OpenVINO，英伟达的TensorRT,谷歌的Mediapipe，高通的SNPE，赛灵思xilinux AI，华为升腾CANN

开放神经网络交换 ONNX（Open Neural Network Exchange）是一套表示深度神经网络模型的开放格式，由微软和 Facebook 于 2017 推出，然后迅速得到了各大厂商和框架的支持。通过短短几年的发展，已经成为表示深度学习模型的实际标准，并且通过 ONNX-ML，可以支持传统非神经网络机器学习模型，大有一统整个 AI 模型交换标准。功能定位：ONNX是一个模型表示格式，用于模型的互操作性和转换；而ONNX Runtime是一个高性能推理引擎，用于模型的优化和运行。应用场景。

原文：主流的深度学习推理架构有哪些呢？以深度学习为主的人工智能算法模型在日常AI应用中逐渐占据主流方向，相关的各类产品也是层出不穷。我们平时所看到的AI产品，像刷脸支付、智能语音、银行的客服机器人等，都是AI算法的具体落地应用。AI技术在具体落地应用方面，和其他软件技术一样，也需要具体的部署和实施的。既然要做部署，那就会有不同平台设备上的各种不同的部署方法和相关的部署架构工具，目前在人工智能的落地部署方面，各大平台机构也都是大展身手，纷纷推出自家的部署平台。目前市场上应用最广泛的部署工具主要有以下几种：腾讯

训练大模型的开发框架有哪些？

开始介绍之前, 我们先了解一下什么是框架?xx框架-IT人经常听到的名词。但是又有多少人知道框架的意思?框架（framework）是一个框子:指其约束性，也是一个架子——指其支撑性。是一个基本概念上的结构，用于去解决或者处理复杂的问题。在IT软件领域，软件框架（software framework）的标准定义：通常指的是为了实现某个业界标准或完成特定基本任务的软件组件规范，也指为了实现某个软件组件规范时，提供规范所要求之基础功能的软件产品。

2. **豆包**：由字节跳动开发，专注于智能语音交互，提供语音识别、语音合成等服务，在语音交互方面具有较高的准确性和响应速度。8. **腾讯混元大模型**：腾讯提供的AI大模型，覆盖NLP、CV、多模态、文生图等多个领域，并在多个权威数据集榜单中登顶。6. **华为云盘古大模型**：华为云提供全栈式AI解决方案，盘古大模型覆盖NLP、CV、语音、多模态、科学计算等多个领域。9. **讯飞星火认知大模型**：科大讯飞开发，具备文本生成、语言理解、知识问答、逻辑推理、数学能力、代码能力和多模态能力。

高通开发者论坛

2,853

社区成员

5,760

社区内容

发帖

与我相关

我的任务

人工智能物联网机器学习技术论坛（原bbs）北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章