主流AI模型推理部署框架有哪些？？

霍大神 2021-09-09 14:00:59

主流AI模型推理部署框架有哪些？？

...全文
2036 1 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
weixin_38498942 2021-09-09
  • 打赏
  • 举报
 回复

英特尔的OpenVINO，英伟达的TensorRT,谷歌的Mediapipe，高通的SNPE，赛灵思xilinux AI，华为升腾CANN

模型推理部署框架选择
开放神经网络交换 ONNX（Open Neural Network Exchange）是一套表示深度神经网络模型的开放格式，由微软和 Facebook 于 2017 推出，然后迅速得到了各大厂商和框架的支持。通过短短几年的发展，已经成为表示深度学习...
训练大模型的开发框架有哪些？
训练大模型的开发框架有哪些？
主流的深度学习推理架构有哪些呢？
以深度学习为主的人工智能算法模型在日常AI应用中逐渐占据主流方向，相关的各类产品也是层出不穷。我们平时所看到的AI产品，像刷脸支付、智能语音、银行的客服机器人等，都是AI算法的具体落地应用。AI技术在具体落地...
一文了解八款主流大模型推理框架
当前大模型推理平台/引擎生态各具特色，从企业级高并发服务到本地轻量化部署，从国产硬件优化到前沿编译技术探索，每种方案都有其独到优势。选择合适的推理方案不仅需考虑技术指标，更要结合业务场景、硬件资源与...
现在比较主流的大模型框架有哪些？
2. **豆包**：由字节跳动开发，专注于智能语音交互，提供语音识别、语音合成等服务，在语音交互方面具有较高的准确性和响应速度。8. **腾讯混元大模型**：腾讯提供的AI大模型，覆盖NLP、CV、多模态、文生图等多个...
高通开发者论坛

4,654

社区成员

5,842

社区内容

发帖
与我相关
我的任务
社区描述
本论坛以AI、WoS 、XR、IoT、Auto、生成式AI等核心板块组成，为开发者提供便捷及高效的学习和交流平台。 高通开发者专区主页：https://qualcomm.csdn.net/
人工智能物联网机器学习 技术论坛（原bbs） 北京·东城区
社区管理员
  • csdnsqst0050
  • chipseeker
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章