谢吉兵-LLM在eBay云原生模型推理平台的工程化落地

m0_74120090 2025-04-23 14:55:07

课时名称	课时知识点
谢吉兵-LLM在eBay云原生模型推理平台的工程化落地	eBay机器学习平台软件开发工程师大纲： 1. 业务背景与平台挑战 2. LLM的推理服务与推理引擎 3. LLM service的auto scale 4. LLM self-service benchmark工具 5. 未来与展望

...全文

20 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

重磅推荐，2025年DA数智大会大模型与大数据应用实践峰会（脱敏）PPT合集，共36份。供大家学习参考。一、主论坛 1. OpenLake：AI时代数据湖仓平台.pdf 2. 具身智能技术在工程机械智能化中的应用实践.pdf 3. 大数据和大模型时代的人工智能研究和落地应用.pdf 二、AI Agent 技术突破与创新应用 1. AI Agents提升On-call支持效率：探索与实践.pdf 2. Finding the Scaling Laws of Agents.pdf 三、AI 前沿技术探索 1. 强化学习与大语言模型：算法前沿和产业落地.pdf 2. 推理服务行业发展趋势.pdf 四、AI 驱动的 BI 新范式 1. 从数据整合到决策提效：B 站数据知识库与增强分析协同的端到端实践 .pdf 2. 菜鸟集团 ChatBI 在物流领域实践 .pdf 五、ChatBI 从交互式分析到数据智能体 1. ChatBI 在携程的应用 .pdf 2. 基于 DeepSeek 先进架构的数据分析智能体升级 .pdf 3. 大模型驱动的 DeepInsight Copilot 在蚂蚁的技术实践 .pdf 六、RAG 进阶之路 1. OceanBase RAG 技术的应用与实践 .pdf 2. RAG Flow 多模态、上下文记忆、推理 .pdf 3. 生成式搜索在小红书的应用 .pdf 4. 阿里云 AI 搜索引擎 Agentic RAG 技术实践 .pdf 七、国际化应用创新实践 1. MiniMax 多模态 AIGC 在海外智能交互中的应用 .pdf 2. Zilliz 开源商业化探索 .pdf 八、大模型技术创新实践 1. Soul 的 AI 社交探索 .pdf 2. 从 Scaling Law 视角探索大语言模型训练的最优超参 .pdf 九、数据要素时代的数据治理 1. Data Warebase：实时湖仓 & 多模检索 .pdf 2. 埋点治理驱动精准实验 .pdf 3. 滴滴数据血缘建设实践 .pdf 十、数据集建设与合成数据 1. OpenSeek 高质量数据集构建 .pdf 2. 小规模高质量的推理数据，解码下一代 AI 训练的黄金法则 .pdf 3. 面向领域的大模型深度思维能力 .pdf 十一、数智新制造 1. 安全与能效的博弈：换电站智能充电系统的算法突围战 .pdf 十二、数智新娱乐 1. Apache Doris 统一 OLAP 在游戏业务的探索 .pdf 2. 基于 AI 语音克隆技术构建低成本车载电台新闻节目实践 .pdf 十三、数智新金融 1. LLM 时代的金融报告撰写：如何重构内容生产的 AI 工作流 .pdf 十四、数智新零售 1. AI 原生应用创新探索与实践导购助手找挑一体化 .pdf 2. 得物端智能封面推荐算法实践 .pdf 十五、智能数据架构 1. eBay 数据平台化实践和思考 .pdf 2. OpenLake：面向 AI 时代的数据基础设施演进 .pdf 十六、面向 Data+AI 的数据架构 1. DeepSeek 变革时代，Alluxio 重塑企业 AI 存储范式 .pdf 2. 蚂蚁集团缓存加速系统 PCache.pdf

大模型刷新一切，软件开发智能化究竟怎么落地？大模型智能应用开发有哪些可行性的方向？在软件开发全生命周期里所有困惑苦恼的问题，都可以在 SDCon 2024 全球软件研发技术大会找到答案。作者 | 《新程序员》编辑部出品 | CSDN（ID：CSDNnews）7 月 4-5 日，指引软件行业创新趋势的标志性盛会 SDCon 2024 全球软件研发技术大会在北京威斯汀酒店隆重开幕。本次大会盛邀 52 ...

从 1 元可以购买 100 万 tokens 的震撼优惠到阿里、百度、腾讯等科技巨头纷纷加入这场主力大模型的降价浪潮，甚至提出主力大模型完全免费，价格战的背后实则一场技术大练兵和应用备赛。成本骤降让更多企业和开发者有机会接触到 AI 技术，于企业而言，如何高效、低成本利用 AI 技术进行更新升级，真正实现软件研发智能、高效才是致胜关键。作为软件创新趋势的风向标大会，全球软件研发技术大会将于 7 月...

大模型正在颠覆互联网逻辑，从“连接”转向“计算”，推动智能供给的全面升级。大模型不再局限于信息检索，而是通过“生成”和“推理”模式，以学习、预测、创造为核心，赋予 AI 智能体规划与行动能力，推动产业进入“行动网络”时代。未来的产品是为 AI 智能体及人机共生场景设计。CSDN 高级副总裁、Boolan 首席技术专家李建忠在《大模型驱动的产品范式创新研究与思考》的演讲中如是提到。在这场由大模型引发...

此次大会汇聚了来自微软、百度、阿里巴巴、腾讯、字节跳动、蚂蚁集团、智源研究院、小红书、网易、商汤科技、小米、360、AMD、数势科技、声网、人民邮电出版社异步社区、电子工业出版社博文视点、清华大学出版社等数十家领军企业和组织的技术专家，他们从科研创新、工程落地到产业趋势，带来了兼具深度与前瞻的思考。在这一背景下，“大模型+行业落地实践”专场应运而生，邀请来自小红书、京东、金山办公、恒生电子研究院、eBay 等头部企业的技术专家，分享他们在不同业务场景中推动大模型技术落地的探索与成果。

CSDN技术会议的课程社区_NO_3

1

社区成员

59

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章