微软、OpenAI投资1000亿美元,打造“Stargate”超级计算机

添加书签

专注AIGC领域的专业社区,关注微软&OpenAI、百度文心一言、讯飞星火等大语言模型(LLM)的发展和应用落地,聚焦LLM的市场研究和AIGC开发者生态,欢迎关注!

3月30日,著名科技媒体the information独家消息,微软、OpenAI正在开发一个数据中心项目,包含一台名为“Stargate”超级计算机将配备数百万个AI专用芯片,主要为OpenAI的研发、产品提供服务。

据一位曾与OpenAI联合创始人兼首席执行官Sam Altman交谈过,以及查看过微软对该项目的成本估算内部人士透露,该成本的总投资高达1000亿美元。

早在2020年5月19日,微软就在官方公布过,在Azure云服务中专门为OpenAI打造了一台配备10,000个GPU和 285,000个 CPU的超级计算机,这也是当时世界上最快的5台计算机之一,这为后来开发ChatGPT、DALL·E 3等产品立下汗马功劳。

本次的Stargate将比2020年的那台性能更强、更快,将帮助OpenAI开发实现AGI的大模型。

Stargate简单介绍

据the information介绍,该数据中心项目一共分为5个阶段,目前微软和OpenAI已经处于第3阶段中期。第4阶段是微软将打造一台比Stargate小一点的超级计算机,预计在2026年左右投入使用。

第5阶段就是Stargate超级计算机,将配备数百万个AI专用芯片,预计在2028年左右投入使用。而第4和第5阶段的主要工作之一就是大量采购AI芯片。

该项目的占地将达到400多亩,需求的电力在5吉瓦特左右将是一个耗电猛兽,所以,可能会使用核动力供电。

该项目的投资是目前多数高级数据中心的100倍左右,微软如此花大价钱的主要原因是,OpenAI一直受到算力的困扰,不能释放全部的产品和创新能力。

例如,2023年,OpenAI本来是要推出一个名为“Arrakis ”的AI产品,但受AI算力限制放弃了。

微软曾为OpenAI打造过专属超级计算机

花费1000亿美元,打造一个超级数据中心并非微软上头操作,而是之前就成功干过一次。

早在2020年5月召开的“Build”开发者大会上,微软表示已经在Azure 云服务中专门为OpenAI打造了一台配备10000个GPU和 285,000个 CPU的超级计算机,每个 GPU 服务器的网络连接速度为每秒400GB,专门用于训练AI模型。

可以说,如果没有这台超算的帮助,可能也不会有后来在全球爆火出圈的ChatGPT。

而微软此次的投资是2020年那台的100倍,这主要因为OpenAI的技术正在快速迭代,并且开发了Sora这种跨时代的文生视频模型。

与ChatGPT的文本相比,视频模型的预训练、微调需要的算力和处理难度将更高。因为,视频数据是包含宽度、高度、时间和颜色通道等高维数据。

因此需要更复杂的数据预处理步骤,包括视频的解码、帧提取、帧重采样以及大小调整等。而文本数据相对是低维的,主要处理的是序列数据,包括分词、标记化、词嵌入等流程。

在算力方面,由于视频数据的高维特性,视频模型在训练和推理过程中远高于文本模型的AI算力。视频处理通常需要在保持空间细节的同时捕捉时间上的变动,这需要大量的AI算力支撑。

OpenAI的首席技术官Mira Murati曾表示,Sora生成一个20秒720P的视频,大约需要耗费几分钟的时间。

如果是100,000个人一起使用Sora生成不同类型的视频,其消耗的AI算力将是一个天文数字。

所以,AI算力已经和数据一样成为生成式AI领域的水、电、煤基础设施,任何产品的技术创新、迭代都离不开它。

本文素材来源the information官网,如有侵权请联系删除

END

本篇文章来源于微信公众号: AIGC开放社区