官宣!Meta正在训练Llama 3,将继续开源
添加书签![](https://static-img-job.rpa-cn.com/www.open-cx.com/2024/01/20240119110124267.jpeg)
专注AIGC领域的专业社区,关注微软&OpenAI、百度文心一言、讯飞星火等大语言模型(LLM)的发展和应用落地,聚焦LLM的市场研究和AIGC开发者生态,欢迎关注!
1月19日,全球社交、科技巨头Meta的联合创始人兼首席执行官-Zuck(扎克伯格)在is宣布,正在训练Llama 3并且以负责任地方式继续开源。
Zuck表示,预计到2024年底,Meta将拥有350,000块H100,如果算上其他算力资源将达到近600,000块H100。
所以,Meta有足够的AI算力资源来支持其生成式AI和FAIR(旗下AI部门)的技术研究。未来,会公布更多的产品消息。
去年8月,就有过传言Meta正在训练Llama 3。现在,官方正式确认,这对于企业、个人开发者来说都是一个好消息,可以继续以开源的方式使用与GPT-4、Gemini Ultra相媲美的大模型。
扎克伯格确认Llama 3和现有AI算力资源
类ChatGPT开源模型鼻祖——Llama
早在去年2月,ChatGPT火爆出圈时,全球多个国家、地区皆在尝试开发类似的产品。虽然已经有一些开源产品,但在功能、能耗等方面与其相差甚远。
同月,Meta重磅开源了类ChatGPT开源模型LLaMA。随后,国内外不少科研机构、个人开发者在LLaMA基础之上,开发了众多知名开源项目。但LLaMA有一个致命缺点,无法商业化只能用于研究。
LLaMA与ChatGPT同样是基于Transformers架构演变而来,共有70亿、130亿、330亿和650亿参数四种类型,接受了20种不同语言文本的训练。
数据训练方面,LLaMA使用公开可用的数据集进行训练,其中包括开放数据平台Common Crawl、英文文档数据集C4、代码平台GitHub、维基百科、论文平台ArXiv等,总体标记数据总量大约在1.4万亿个Tokens左右。
Meta认为,在更多标记(单词)上训练的较小模型,更容易针对特定的潜在产品用例进行再训练和微调,同时性能也更加聚焦。
2023年7月,Meta在LLaMA基础之上训练、开源了LLaMA 2,拥有70亿、130亿、340亿和700亿四种参数,并且这一代终于允许商业化。
Llama 2 预训练模型接受了2万亿个标记的训练,上下文长度是Llama 1的两倍。其微调模型已经接受了超过100 万个人类注释的训练,整体性能非常强悍。
目前,Llama 2也是整个生成式AI开源界应用最多的大模型之一。
开源生成式AI联盟主力军——Meta
看到生成式AI的庞大场景化落地,Meta已经将其列为重要发展赛道。
为了对抗OpenAI、谷歌为代表的闭源阵营,去年12月,Meta联合甲骨文、英特尔、AMD、IBM、索尼、戴尔等57家科技、学术研究等知名机构组成了“AI联盟”。
这个联盟有6大目标,其中重要一项便是要搭建开源大模型生态,包括从研究、评估、硬件、安全、公众参与等一整套流程。
事实上,Meta作为这个联盟的主要发起者和“盟主”,在2023年,除了LLaMA,还开源了一系列重要模型。
开源文本生成音乐模型Audiocraft:这是一个混合模型,由MusicGen、AudioGen和EnCodec组合而成。用户仅用文本就能生成鸟叫、汽车喇叭声、脚步等背景音频,或更复杂的音乐,适用于游戏开发、社交、视频配音等业务场景。
最大公开多模态视频数据集—Ego-Exo4D:该数据集收集了来自13个城市839名参与者的视频,总时长超过1400小时,包含舞蹈、足球、篮球、攀岩、音乐、烹饪、自行车维修等8大类,131个复杂场景动作。这使得AI模型更好地理解人类的行为,有助于开发出更强大的多模态大模型。
开源视觉模型DINOv2:采用了一种新的高性能计算机视觉模型的方法,无需微调具备自我监督学习(SSL),可以从任何图像集合中学习。还可以学习当前标准方法无法学习的特征,例如,深度估计。
可以预见,2024年,Meta将继续扬帆起航,开源更多的重磅产品造福全球开发者和企业。
本文素材来源Meta官网、扎克伯格is,如有侵权请联系删除
END
本篇文章来源于微信公众号: AIGC开放社区