AI真的太费钱了，Meta 公司公布了他们的 AI 集群细节。大家可以看看，AI 需要投多少钱。他们现在有两个集群，每个集群包含了24576块英伟达 H100 GPU。H100 的价格是2.5万美元～4万美元/块，也就是说，每个集群就要花费数亿美元-CSDN社区

小小鱼儿小小林

优质创作者: 编程框架技术领域

领域专家: 后端开发技术领域

2024-03-23 19:16:17

AI真的太费钱了，Meta 公司公布了他们的 AI 集群细节。大家可以看看，AI 需要投多少钱。他们现在有两个集群，每个集群包含了24576块英伟达 H100 GPU。H100 的价格是2.5万美元～4万美元/块，也就是说，每个集群就要花费数亿美元。他们计划今年年底前，将 H100 扩充至35万块，远期达到60万块。

...全文

1661 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

利用 OCP 服务器作为像乐高积木一样的基础模块，存储层能够灵活地扩展，以满足该集群以及未来更大的 AI 集群的未来需求，同时具有容错能力，满足对日常基础设施维护操作要求。Meta分享了建立大集群的细节，在硬件、网络、存储等方面的规划设计，能够让AI工作负载获得更高的吞吐量和可靠性。为了解决这个问题，Meta通过网络拓扑感知对内部作业调度程序来调度作业，使得最大限度减少了流向网络上层的流量，同时结合英伟达集体通信库NCCL优化了网络路由策略，实现最佳网络利用率，推动Meta大型集群和小型集群一样的高性能。

！作为对未来人工智能的重要投资，Meta 打造了两个大规模 AI 集群，每个集群由 2.4w 张 GPU组成，本文分享其计算、网络、存储等设计细节。

马克·扎克伯格将 Meta 在开源人工智能方面的投资与早期的开放计算项目进行了比较，他说，在建立自身能力时，让像惠普这样的外部公司帮助改进和标准化 Meta 的数据中心设计，为公司节省了数十亿美元。虽然 Llama 3.1 最先进的 4050 亿参数模型在 Meta AI 中可免费使用，但在给定的一周内超过未指定数量的提示后，助手将切换到规模较小的 700 亿模型。Meta AI 中的新Imagine Me功能通过您手机的摄像头扫描您的面部，然后让您将自己的形象插入其生成的图像中。今天，该大模型已经问世。

打破 AI 算力天花板，Meta超大规模AI基础设施架构解读

从训练进度来看，估计Llama-3最快将于4月末或5月中旬上线。受Sora影响，很可能是一个多模态模型，并且会继续开源。

Link人工智能

3,643

社区成员

301

社区内容

发帖

与我相关

我的任务

搜索引擎人工智能个人社区浙江省·杭州市

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

欢迎各位高手分享经验

试试用AI创作助手写篇文章吧

+ 用AI写文章