20,842
社区成员
发帖
与我相关
我的任务
分享为期一个月,才整理了上半部分。文档持续更新中,想玩转大数据的,跟上我的脚步搞起来。后续计划还要全部开发 Ansible自动化部署,有兴趣一起搞事情的,加我微信吧 lym520ccy
链接:https://pan.baidu.com/s/1QGNTD_sPDp0XKXdsMa00ng?pwd=qaae
提取码:qaae
--来自百度网盘超级会员V5的分享
最稳的起步是先把端到端链路打通,再谈优化。性能建议从官方 quickstart 改起,每一步都有对照。
几个针对你提到方向的具体点:
· 部署:优先用 vLLM / TGI 这类带 PagedAttention 的推理框架,吞吐和显存利用率远高于裸 Flask;上线前务必压测并发和首 token 延迟,多数团队卡在延迟而非精度。
落地步骤一般是:① 跑通最小可用闭环;② 按你的场景替换数据/模型;③ 加监控和回退,再上量。
别一上来追指标和效果,链路没通就调参等于在沙子上盖楼。
以上是基于常见落地经验的判断,不一定全对。你那边具体是什么场景/报错?评论区说下,我帮你看。
打歌粉