重磅!首个超GPT-4o开源大模型,最强Llama 3.1正式发布
添加书签![](https://static-img-job.rpa-cn.com/www.open-cx.com/2024/07/20240724110130885.jpeg)
专注AIGC领域的专业社区,关注微软&OpenAI、百度文心一言、讯飞星火等大语言模型(LLM)的发展和应用落地,聚焦LLM的市场研究和AIGC开发者生态,欢迎关注!
Meta正式发布目前最强开源大模型之一Llama 3.1系列,一共有405B、70B、8B三种模型。
其中405B更是期待已久的重磅开源模型,经过15万亿tokens高质量数据以及超过1.6万块H100进行了几个月的预训练,支持128K上下文长度,英语、法语、德语等8种语言,能生成代码、文本、文本摘要等。
根据Llama 3.1的技术论文,405B是具备文本、图像、视频和音频多模态推理能力的,但本次没有开放还在继续开发中。
值得一提的是,Meta已经更改了开源许可证,允许开发者使用Llama 3.1系列模型的输出去优化其他模型,也就是说可以使用最强的405B进行模型蒸馏啦,这对于打造参数小、性能强的模型非常有帮助。
图灵奖获得者、Meta首席科学家Yann Lecun则表示,Llama 3.1系列中的405B版本可以与目前最好的闭源大模型相媲美,并全面开放权重允许开发者进行微调、蒸馏,拥有非常强的代码和推理能力。
128K上下文基本和GPT-4o一样大,并且性能也不差。
有小哥激动的说,Meta简直就是为人民服务的典范。
虽然405B对于多数开发者来说,在部署成本和推理方面成本太高,但还是开放了70B、8B小参数模型,非常人性化涵盖不同需求。
开源AGI的进展非常快,研究速度惊人。
知名浏览器插件Sider AI表示,会将405B集成在产品中,为超过500万浏览器用户提供服务。
Meta联合创始人兼首席执行官-扎克伯格更是罕见地发布长文和接受专访,畅谈最新开源的Llama 3.1系列。
他表示,Meta将坚持走开源路线,致力于开发最好的前沿AI模型,本次发布的405B便是最好的承诺。在生成式AI时代,好的大模型不应该被少数公司掌握,应该与全人类共同分享,同时对Meta的帮助也有很大好处。
因为,Meta的商业模式是为用户提供最佳体验和服务。开源Llama 3.1系列模型有助于Meta确保长期获得最佳技术优势,不受竞争对手封闭生态系统的限制。即使开源Llama 3.1也不会削弱其技术优势,因为AI的发展将非常竞争激烈,而且Meta的商业模式并不依赖于出售AI模型的访问权。
目前,Meta正在与亚马逊、Databricks和英伟达在内的多家领先科技公司合作,推出一系列服务,支持开发者微调和蒸馏自己的模型。
开源模型将在所有主要云平台上提供,包括AWS、Azure、Google、Oracle等。其他公司如Scale.AI、Dell、Deloitte等也准备帮助企业应用最新开源的Llama 3.1模型,并用他们自己的数据训练定制大模型。
Llama 3.1 405B采用了标准的密集Transformer架构,但与之前的版本相比进行了一些微调。例如,使用了分组查询注意力来提高推理效率,并对词汇表进行了调整,以更好地支持多语言处理。
在预训练过程中,Llama 3.1 405B使用了超过1.6万块H100。为了充分发挥405B模型的潜力,训练过程中还采用了一些特殊的技术和策略,例如,在预训练阶段,采用了初始预训练和长上下文预训练相结合的方式。
初始预训练使用了大量的数据来学习语言的基本模式和规律,而长上下文预训练则专注于处理更长的文本序列,以提高模型对上下文的理解能力。
405B在语言模型预训练阶段展现出了强大的语言理解能力,学习到不同语言的语法、语义和语用知识,并能够生成连贯、有逻辑的文本。在预训练数据中,包含了各种领域和主题超过15万亿tokens的数据,使得模型能够适应广泛的应用场景。
在语言模型后训练阶段,405B通过监督微调和直接偏好优化等,进一步提升了模型的性能和适应性。监督微调使用大量的人工标注数据来微调模型,使其能够更好地遵循人类的指令和偏好;直接偏好优化则通过学习人类的偏好来优化模型的输出,使其更加符合人类的期望。
除了语言处理能力,405B还具备多模态推理能力,通过与视觉和语音等模态的结合,能够实现更自然和智能的交互方式。例如,在与图像的结合中,模型能够理解图像的内容,并根据图像生成相关的文本描述。在语音交互中,它能够识别语音指令,并进行自然的语音对话。
在视觉交互中, 405B与预训练的图像编码器和适配器相结合,提升了对视觉信息的理解和处理能力。通过对大量图像文本对的学习,模型能够识别图像中的物体、场景和文本,并能够根据图像回答相关的问题。
例如,在图像识别任务中, 405B能够准确地识别出图像中的物体类别和属性,为图像标注和分类提供了有力的支持。在多模态推理任务中,能够结合图像和文本信息,进行复杂的推理和判断,展现出了较强的综合理解能力。
Meta在MMlu、HumanEval、MBPP、ARC等主流测试平台,对Llama 3.1的405B、70B、8B进行了综合测试。结果显示,405B的性能超过了GPT-4o、GPT-4、Claude 3.5 Sonnet等知名闭源模型。
Github地址:https://github.com/meta-llama/llama-models
huggingface地址:https://huggingface.co/meta-llama/Meta-Llama-3.1-8B/tree/main
本文素材来源Meta官网,如有侵权请联系删除
END
本篇文章来源于微信公众号: AIGC开放社区