书生·浦语大模型实战营第二期-lesson5-笔记 本课主角是lmdeploy,从这节课开始,往后的第六课agent、第七课compass都是基于lmdeploy实现。 lmdeploy主要发挥一个maas的功能,模型即服务,模型需要高并发保质量不混
书生·浦语大模型实战营第二期-lesson5-笔记
本课主角是lmdeploy,从这节课开始,往后的第六课agent、第七课compass都是基于lmdeploy实现。
lmdeploy主要发挥一个maas的功能,模型即服务,模型需要高并发保质量不混乱,需要有一个看守来给他把关,lmdeploy扮演的就是这一角色。
lmdeploy最广泛的用法是作为server,供agent、compass调用
在做这一课作业时,我也遇到了第一次让人感到棘手的bug,依照教程安装的lmdeploy,怎样也调不出模型回应,左右求助终于得知需要从release安装其他版本,由此才解决了我的问题。
这在实际工作中也一样,搞模型搞算法的,未必能搞开发,有些公司的模型,用户量一多就撑不住,就开始注水…
...全文
相关推荐
MaaS(模型即服务)的概念、发展现状、挑战和未来趋势
一、MaaS 概述 1.1MaaS 起源与概念 1.2大模型促使 MaaS 快速发展 1.3MaaS 助推大模型规模化落地 二、MaaS 发展现状及挑战 2.1 MaaS 产业图谱初步形成 2.2 MaaS 两种落地方式: 对比了公有云和私有云两种 MaaS 落地方式的特点和商业模式。 2.3 MaaS 发展面临的挑战: 分析了 MaaS 在规范性、易用性、成本控制、合规管理和生态建设等方面面临的挑战。 三、MaaS 框架与能力要求 3.1MaaS 框架说明: 介绍了 MaaS 框架的三个组成部分:模型平台层、模型层和应用开发层 3.2模型平台层: 阐述了模型平台层的能力架构和能力模块 3.3模型层: 介绍了模型层的能力架构和能力模块 3.4应用开发层: 阐述了应用开发层的能力架构和能力模块 3.5模型服务协议框架: 介绍了模型服务协议框架的目标和内容。 四、MaaS 应用分析 4.1MaaS 落地条件及优势场景解析: 分析了 MaaS 落地的内外部条件,以及 MaaS 在各行业应用占比和优势场景。 4.2MaaS 行业实践案例及成效剖析: 详细介绍了四个 MaaS 落地代表案例
书生·浦语大模型第二课
书生·浦语大模型第二课
【第二次修订完全版】新概念英语第二册笔记pdf(96课全).pdf
【第二次修订完全版】新概念英语第二册笔记pdf(96课全)
书生 浦语大模型实战训练营第二期 第三节笔记
书生 浦语大模型实战训练营第二期 第三节笔记
中国计算机和软件:模型即服务.pdf
计算机 软件开发 行业分析 数据分析 数据报告 行业报告


