书生·浦语大模型实战营第二期-lesson5-笔记 本课主角是lmdeploy,从这节课开始,往后的第六课agent、第七课compass都是基于lmdeploy实现。 lmdeploy主要发挥一个maas的功能,模型即服务,模型需要高并发保质量不混

kv-chiu kv-chiu 墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年,写一次发全网 我也要 + 加入社区
书生·浦语大模型实战营第二期-lesson5-笔记 本课主角是lmdeploy,从这节课开始,往后的第六课agent、第七课compass都是基于lmdeploy实现。 lmdeploy主要发挥一个maas的功能,模型即服务,模型需要高并发保质量不混乱,需要有一个看守来给他把关,lmdeploy扮演的就是这一角色。 lmdeploy最广泛的用法是作为server,供agent、compass调用 在做这一课作业时,我也遇到了第一次让人感到棘手的bug,依照教程安装的lmdeploy,怎样也调不出模型回应,左右求助终于得知需要从release安装其他版本,由此才解决了我的问题。 这在实际工作中也一样,搞模型搞算法的,未必能搞开发,有些公司的模型,用户量一多就撑不住,就开始注水…
...全文

相关推荐

MaaS(模型即服务)的概念、发展现状、挑战和未来趋势

一、MaaS 概述 1.1MaaS 起源与概念 1.2大模型促使 MaaS 快速发展 1.3MaaS 助推大模型规模化落地 二、MaaS 发展现状及挑战 2.1 MaaS 产业图谱初步形成 2.2 MaaS 两种落地方式: 对比了公有云和私有云两种 MaaS 落地方式的特点和商业模式。 2.3 MaaS 发展面临的挑战: 分析了 MaaS 在规范性、易用性、成本控制、合规管理和生态建设等方面面临的挑战。 三、MaaS 框架与能力要求 3.1MaaS 框架说明: 介绍了 MaaS 框架的三个组成部分:模型平台层、模型层和应用开发层 3.2模型平台层: 阐述了模型平台层的能力架构和能力模块 3.3模型层: 介绍了模型层的能力架构和能力模块 3.4应用开发层: 阐述了应用开发层的能力架构和能力模块 3.5模型服务协议框架: 介绍了模型服务协议框架的目标和内容。 四、MaaS 应用分析 4.1MaaS 落地条件及优势场景解析: 分析了 MaaS 落地的内外部条件,以及 MaaS 在各行业应用占比和优势场景。 4.2MaaS 行业实践案例及成效剖析: 详细介绍了四个 MaaS 落地代表案例

robinfang2019

书生·浦语大模型第二课

书生·浦语大模型第二课

sinat_39541390

【第二次修订完全版】新概念英语第二册笔记pdf(96课全).pdf

【第二次修订完全版】新概念英语第二册笔记pdf(96课全)

joe_chengp

书生 浦语大模型实战训练营第二期 第三节笔记

书生 浦语大模型实战训练营第二期 第三节笔记

huahuadehua~

中国计算机和软件:模型即服务.pdf

计算机 软件开发 行业分析 数据分析 数据报告 行业报告

结冰架构
评论
收藏 已收藏
分享
返回顶部
kv-chiu
OpenMMLab 536 成员 1,595 内容