微软、OpenAI投资1000亿美元,打造“Stargate”超级计算机
添加书签![](https://static-img-job.rpa-cn.com/www.open-cx.com/2024/03/20240331110311111.jpeg)
专注AIGC领域的专业社区,关注微软&OpenAI、百度文心一言、讯飞星火等大语言模型(LLM)的发展和应用落地,聚焦LLM的市场研究和AIGC开发者生态,欢迎关注!
3月30日,著名科技媒体the information独家消息,微软、OpenAI正在开发一个数据中心项目,包含一台名为“Stargate”超级计算机将配备数百万个AI专用芯片,主要为OpenAI的研发、产品提供服务。
据一位曾与OpenAI联合创始人兼首席执行官Sam Altman交谈过,以及查看过微软对该项目的成本估算内部人士透露,该成本的总投资高达1000亿美元。
早在2020年5月19日,微软就在官方公布过,在Azure云服务中专门为OpenAI打造了一台配备10,000个GPU和 285,000个 CPU的超级计算机,这也是当时世界上最快的5台计算机之一,这为后来开发ChatGPT、DALL·E 3等产品立下汗马功劳。
本次的Stargate将比2020年的那台性能更强、更快,将帮助OpenAI开发实现AGI的大模型。
Stargate简单介绍
据the information介绍,该数据中心项目一共分为5个阶段,目前微软和OpenAI已经处于第3阶段中期。第4阶段是微软将打造一台比Stargate小一点的超级计算机,预计在2026年左右投入使用。
第5阶段就是Stargate超级计算机,将配备数百万个AI专用芯片,预计在2028年左右投入使用。而第4和第5阶段的主要工作之一就是大量采购AI芯片。
该项目的占地将达到400多亩,需求的电力在5吉瓦特左右将是一个耗电猛兽,所以,可能会使用核动力供电。
该项目的投资是目前多数高级数据中心的100倍左右,微软如此花大价钱的主要原因是,OpenAI一直受到算力的困扰,不能释放全部的产品和创新能力。
例如,2023年,OpenAI本来是要推出一个名为“Arrakis ”的AI产品,但受AI算力限制放弃了。
微软曾为OpenAI打造过专属超级计算机
花费1000亿美元,打造一个超级数据中心并非微软上头操作,而是之前就成功干过一次。
早在2020年5月召开的“Build”开发者大会上,微软表示已经在Azure 云服务中专门为OpenAI打造了一台配备10000个GPU和 285,000个 CPU的超级计算机,每个 GPU 服务器的网络连接速度为每秒400GB,专门用于训练AI模型。
可以说,如果没有这台超算的帮助,可能也不会有后来在全球爆火出圈的ChatGPT。
而微软此次的投资是2020年那台的100倍,这主要因为OpenAI的技术正在快速迭代,并且开发了Sora这种跨时代的文生视频模型。
与ChatGPT的文本相比,视频模型的预训练、微调需要的算力和处理难度将更高。因为,视频数据是包含宽度、高度、时间和颜色通道等高维数据。
因此需要更复杂的数据预处理步骤,包括视频的解码、帧提取、帧重采样以及大小调整等。而文本数据相对是低维的,主要处理的是序列数据,包括分词、标记化、词嵌入等流程。
在算力方面,由于视频数据的高维特性,视频模型在训练和推理过程中远高于文本模型的AI算力。视频处理通常需要在保持空间细节的同时捕捉时间上的变动,这需要大量的AI算力支撑。
OpenAI的首席技术官Mira Murati曾表示,Sora生成一个20秒720P的视频,大约需要耗费几分钟的时间。
如果是100,000个人一起使用Sora生成不同类型的视频,其消耗的AI算力将是一个天文数字。
所以,AI算力已经和数据一样成为生成式AI领域的水、电、煤基础设施,任何产品的技术创新、迭代都离不开它。
本文素材来源the information官网,如有侵权请联系删除
END
本篇文章来源于微信公众号: AIGC开放社区