533
社区成员
发帖
与我相关
我的任务
分享书生·浦语大模型实战营第二期-lesson5-笔记
本课主角是lmdeploy，从这节课开始，往后的第六课agent、第七课compass都是基于lmdeploy实现。
lmdeploy主要发挥一个maas的功能，模型即服务，模型需要高并发保质量不混乱，需要有一个看守来给他把关，lmdeploy扮演的就是这一角色。
lmdeploy最广泛的用法是作为server，供agent、compass调用
在做这一课作业时，我也遇到了第一次让人感到棘手的bug，依照教程安装的lmdeploy，怎样也调不出模型回应，左右求助终于得知需要从release安装其他版本，由此才解决了我的问题。
这在实际工作中也一样，搞模型搞算法的，未必能搞开发，有些公司的模型，用户量一多就撑不住，就开始注水…
...全文
请发表友善的回复…
发表回复
