谢吉兵-LLM在eBay云原生模型推理平台的工程化落地

m0_74120090 2025-04-23 14:55:07

课时名称	课时知识点
谢吉兵-LLM在eBay云原生模型推理平台的工程化落地	eBay机器学习平台软件开发工程师大纲： 1. 业务背景与平台挑战 2. LLM的推理服务与推理引擎 3. LLM service的auto scale 4. LLM self-service benchmark工具 5. 未来与展望

...全文

53 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

重磅推荐，2025年DA数智大会大模型与大数据应用实践峰会（脱敏）PPT合集，共36份。供大家学习参考。一、主论坛 1. OpenLake：AI时代数据湖仓平台.pdf 2. 具身智能技术在工程机械智能化中的应用实践.pdf 3. 大数据和大模型时代的人工智能研究和落地应用.pdf 二、AI Agent 技术突破与创新应用 1. AI Agents提升On-call支持效率：探索与实践.pdf 2. Finding the Scaling Laws of Agents.pdf 三、AI 前沿技术探索 1. 强化学习与大语言模型：算法前沿和产业落地.pdf 2. 推理服务行业发展趋势.pdf 四、AI 驱动的 BI 新范式 1. 从数据整合到决策提效：B 站数据知识库与增强分析协同的端到端实践 .pdf 2. 菜鸟集团 ChatBI 在物流领域实践 .pdf 五、ChatBI 从交互式分析到数据智能体 1. ChatBI 在携程的应用 .pdf 2. 基于 DeepSeek 先进架构的数据分析智能体升级 .pdf 3. 大模型驱动的 DeepInsight Copilot 在蚂蚁的技术实践 .pdf 六、RAG 进阶之路 1. OceanBase RAG 技术的应用与实践 .pdf 2. RAG Flow 多模态、上下文记忆、推理 .pdf 3. 生成式搜索在小红书的应用 .pdf 4. 阿里云 AI 搜索引擎 Agentic RAG 技术实践 .pdf 七、国际化应用创新实践 1. MiniMax 多模态 AIGC 在海外智能交互中的应用 .pdf 2. Zilliz 开源商业化探索 .pdf 八、大模型技术创新实践 1. Soul 的 AI 社交探索 .pdf 2. 从 Scaling Law 视角探索大语言模型训练的最优超参 .pdf 九、数据要素时代的数据治理 1. Data Warebase：实时湖仓 & 多模检索 .pdf 2. 埋点治理驱动精准实验 .pdf 3. 滴滴数据血缘建设实践 .pdf 十、数据集建设与合成数据 1. OpenSeek 高质量数据集构建 .pdf 2. 小规模高质量的推理数据，解码下一代 AI 训练的黄金法则 .pdf 3. 面向领域的大模型深度思维能力 .pdf 十一、数智新制造 1. 安全与能效的博弈：换电站智能充电系统的算法突围战 .pdf 十二、数智新娱乐 1. Apache Doris 统一 OLAP 在游戏业务的探索 .pdf 2. 基于 AI 语音克隆技术构建低成本车载电台新闻节目实践 .pdf 十三、数智新金融 1. LLM 时代的金融报告撰写：如何重构内容生产的 AI 工作流 .pdf 十四、数智新零售 1. AI 原生应用创新探索与实践导购助手找挑一体化 .pdf 2. 得物端智能封面推荐算法实践 .pdf 十五、智能数据架构 1. eBay 数据平台化实践和思考 .pdf 2. OpenLake：面向 AI 时代的数据基础设施演进 .pdf 十六、面向 Data+AI 的数据架构 1. DeepSeek 变革时代，Alluxio 重塑企业 AI 存储范式 .pdf 2. 蚂蚁集团缓存加速系统 PCache.pdf

重磅推荐，2025全球人工智能开发与应用大会（脱敏）PPT合集，共31份。 1. 大模型调优数据的高效构建与进化方法 2. 大模型助力软件研发人机协同进化实践 3. 当产品经理开始AI编程，如何构建程序员与产品经理的协作新范式 4. 构建面向大模型的安全治理体系和应用实践 5. 货拉拉大数据存储实践与AI时代的应对 6. 加速AI推理与检索生成：在PB级数据湖上实现Parquet查询1000倍性能提升 7. 京东零售大模型推理优化实践 8. 能源行业基于大模型的数据治理和人工智能应用实践 9. 让 Agent 进化 Agent 企业自动化的新范式构想 10. 深入对比智能体协议：MCP、A2A、ANP 11. 深思考端侧多模态大模型：TinyDongni&Deepseek的创新实践 12. 实现多模态生成、极致、加速的算法与系统挑战 13. 训练、推理、代理：在Al原生世界中的超越应用程序 14. AI Agent 如何重塑有声内容的生产与分发 15. AI Agent+IoT技术方案新场景创新应用 16. AI赋能eBay支付风控：从用户行为到交易安全的全面智能化 17. Al 应用落地进行时 18. CangjieMagic：基于仓颉语言的Agent开发框架实践 19. Coding Agent 驱动研发提效：从实践到流程改进 20. Data+AI 下一代数智平台建设 21. DeepResearch如何在企业内落地 22. DLRover在万卡规模大模型训练中的稳定性实践 23. GenAI应用时代开发思想如何变革？ 24. Infinity：视觉自回归生成新路线 25. LLM技术在YD词典笔上的应用实践 26. Multi-Agent架构驱动的Data Agent路线与工程实践 27. QAnything：大模型驱动下的知识库问答体系革新与实践 28. Rokid赵维奇-人机协同新范式：AI+AR 空间计算的落地路径 29. SGLang 推理引擎，高效的开源部署方案 30. AI 时代如何做独立开发：一年上线超 10 款产品 31. 从Copilot 到Agent AI 编程的范式革新

大模型刷新一切，软件开发智能化究竟怎么落地？大模型智能应用开发有哪些可行性的方向？在软件开发全生命周期里所有困惑苦恼的问题，都可以在 SDCon 2024 全球软件研发技术大会找到答案。作者 | 《新程序员》编辑部出品 | CSDN（ID：CSDNnews）7 月 4-5 日，指引软件行业创新趋势的标志性盛会 SDCon 2024 全球软件研发技术大会在北京威斯汀酒店隆重开幕。本次大会盛邀 52 ...

大模型正在颠覆互联网逻辑，从“连接”转向“计算”，推动智能供给的全面升级。大模型不再局限于信息检索，而是通过“生成”和“推理”模式，以学习、预测、创造为核心，赋予 AI 智能体规划与行动能力，推动产业进入“行动网络”时代。未来的产品是为 AI 智能体及人机共生场景设计。CSDN 高级副总裁、Boolan 首席技术专家李建忠在《大模型驱动的产品范式创新研究与思考》的演讲中如是提到。在这场由大模型引发...

从 1 元可以购买 100 万 tokens 的震撼优惠到阿里、百度、腾讯等科技巨头纷纷加入这场主力大模型的降价浪潮，甚至提出主力大模型完全免费，价格战的背后实则一场技术大练兵和应用备赛。成本骤降让更多企业和开发者有机会接触到 AI 技术，于企业而言，如何高效、低成本利用 AI 技术进行更新升级，真正实现软件研发智能、高效才是致胜关键。作为软件创新趋势的风向标大会，全球软件研发技术大会将于 7 月...

CSDN技术会议的课程社区_NO_3

1

社区成员

155

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章