华为盘古大模型3.0震撼发布：多模态，最高支持1000 亿参数

添加书签

AIGC开放社区
2023-07-09

专注AIGC领域的专业社区，关注OpenAI、百度文心一言等大语言模型（LLM）的发展和应用落地，关注LLM的基准评测和市场研究，欢迎关注！

7月7日，华为开发者大会2023（Cloud）在中国东莞正式揭开帷幕。会上，华为常务董事、华为云CEO张平安宣布盘古大模型3.0和昇腾AI云服务正式发布。（盘古大模型详细地址：https://www.huaweicloud.com/product/pangu.html）

其中，盘古大模型3.0围绕“行业重塑”“技术扎根”“开放同飞”三大创新方向，持续打造核心竞争力，为行业客户、伙伴及开发者提供更好的服务。昇腾AI云服务单集群提供2000P Flops算力，千卡训练30天长稳率达到90%，为业界提供稳定可靠的AI算力，让大模型触手可及。

张平安说：“盘古大模型要让每个行业、每个企业、每个人都拥有自己的专家助手，让工作更高效更轻松。我们始终坚持AI for Industries的战略，在深耕行业的道路上不断前行。我坚信大模型将重塑千行百业，而每一个开发者，都将是改变世界的英雄。”

盘古大模型3.0：重塑千行百业

华为云盘古大模型从一开始就聚焦为行业服务，本次大会发布的盘古大模型3.0也是一个面向行业的大模型系列，包括“5+N+X”三层架构：

L0层包括自然语言、视觉、多模态、预测、科学计算五个基础大模型，提供满足行业场景中的多种技能需求。盘古3.0为客户提供100亿参数、380亿参数、710亿参数和1000亿参数的系列化基础大模型，匹配客户不同场景、不同时延、不同响应速度的行业多样化需求。

同时提供全新能力集，包括NLP大模型的知识问答、文案生成、代码生成，以及多模态大模型的图像生成、图像理解等能力，这些技能都可以供客户和伙伴企业直接调用。无论多大参数规模的大模型，盘古提供一致的能力集。

L1层是N个行业大模型，华为云既可以提供使用行业公开数据训练的行业通用大模型，包括政务，金融，制造，矿山，气象等大模型；也可以基于行业客户的自有数据，在盘古大模型的L0和L1层上，为客户训练自己的专有大模型。

L2层为客户提供了更多细化场景的模型，更加专注于政务热线、网点助手、先导药物筛选、传送带异物检测、台风路径预测等具体行业应用或特定业务场景，为客户提供“开箱即用”的模型服务。

盘古大模型采用完全的分层解耦设计，可以快速适配、快速满足行业的多变需求。客户既可以为自己的大模型加载独立的数据集，也可以单独升级基础模型，也可以单独升级能力集。

在L0和L1大模型的基础上，华为云还为客户提供了大模型行业开发套件，通过对客户自有数据的二次训练，客户就可以拥有自己的专属行业大模型。同时，根据客户不同的数据安全与合规诉求，盘古大模型还提供了公用云、大模型云专区、混合云多样化的部署形态。

华为常务董事、华为云CEO张平安

目前，华为盘古大模型已在金融、制造、医药研发、煤矿、铁路等诸多行业发挥着巨大价值。

在政务领域，华为云携手深圳市福田区政务服务数据管理局，上线了基于盘古政务大模型的福田政务智慧助手小福，能够精准理解民众咨询意图，改变传统的一网通办模式，把老百姓的话语转化为政府办事的语言，让城市更有爱。

盘古政务大模型对超过20万条政务数据进行精调，包括12345热线、政策文件、政务百科等，掌握了丰富的法律法规、办事流程等行业知识。基于盘古政务大模型的小福，在一网通办业务中体现出行业性、专业性、领先性和惠民性。

在金融领域，盘古金融大模型可以对银行的各种操作、政策、案例文档进行预训练，能根据客户的问题，为柜台工作人员自动生成流程和操作指导，将原来需要平均5次的操作降低为1次，办结时间缩短5分钟以上。盘古大模型让数十万网点柜员都拥有自己的智慧助手。

在药物研发领域，原来一款新药研发平均需要10年时间、花费10亿美金。盘古药物分子大模型助力西安交通大学第一附属医院刘冰教授团队发现全球40年来首个新靶点、新类别的抗生素，并将先导药物研发周期缩短至1个月、研发成本降低70%。

在制造领域，过去单产线制定器件分配计划，往往要花费3个小时以上才能做齐1天的生产计划。盘古制造大模型学习了华为产线上各种器件数据、业务流程及规则以后，能够对业务需求进行准确的意图理解，并调用天筹AI求解器插件，1分钟即可做出未来3天的生产计划。

技术扎根、极致效能，打造世界AI另一极

大模型的创新不仅仅是模型自身的创新，更依赖于AI的各项根技术创新。华为在最底层构建了以鲲鹏和昇腾为基础的AI算力云平台，以及异构计算架构CANN、全场景AI框架昇思MindSpore，AI开发生产线ModelArts等，为大模型开发和运行提供分布式并行加速，算子和编译优化、集群级通信优化等关键能力。基于华为的AI根技术，大模型训练效能可以调优到业界主流GPU的1.1倍。

算力是训练大模型的基础。在本次大会上，张平安宣布单集群2000P Flops算力的昇腾AI云服务在华为云的乌兰察布和贵安AI算力中心同时上线。昇腾AI云服务除了支持华为全场景AI框架昇思MindSpore外，还支持Pytorch、Tensorflow等主流AI框架。同时，这些框架中90%的算子，都可以通过华为端到端的迁移工具平滑迁移到昇腾平台。

此外，在大模型训练过程中经常会遇到GPU故障，研发人员不得不经常重启训练，时间长，代价大。昇腾AI云服务可以提供更长稳的AI算力服务，千卡训练30天长稳率达到90%，断点恢复时长不超过10分钟。例如，美图仅用30天就将70个模型迁移到了昇腾，同时华为云和美图团队一起进行了30多个算子的优化以及流程的并行加速，AI性能较原有方案提升了30%。

“为了帮助全球客户、伙伴、开发者训练和使用大模型，我们致力于为全球客户打造世界AI另一极，为所有AI开发者提供新的选择”，张平安表示。

深度融合，盘古大模型重构产品创新

除了在千行百业的落地实践，华为云盘古大模型也深度融入了华为云的产品服务，重构产品创新。

例如，在资料服务中，通过盘古大模型的文案生成和代码生成技术，能够提升资料撰写和前端代码编写效率，将新产品上市、赋能周期大为缩短。在云客服，通过嵌入行业知识库和意图挖掘能力的对话问答，实现全流程AI优先作答，提升客服工作效率30%。

在BI，通过NL2SQL和AutoGraph智能路由，实现SQL到可视化图表的自动推荐，通过多轮自然语言交互，让人人都能便捷地从数据中洞察业务细节。在云搜索，通过多模态Embedding和NL2API技术，实现视频、文本、图谱等广泛场景搜索，借助强大的语义理解和泛化能力，让搜索准确率提高15%。

同时，华为云将CodeArts研发工具与盘古大模型相结合，正式发布了面向开发者的智能编程助手CodeArts Snap。该工具训练了760亿行精选代码、1300万篇技术文档，具备智能生成、智能问答、智能协同三大核心功能，可以实现一句对话让代码生成、一次点击即可自动注释和生成测试用例，一条指令即可智能部署，让每个软件开发者都有自己的编程助手。

此外，为了让企业在AI时代构筑更强的内容创新能力，华为云通过盘古基础大模型赋能MetaStudio数字内容生产线，打造了盘古数字人大模型，提供模型生成和模型驱动两大服务，并已经使用了20万小时音视频数据进行了预训练。

基于这两大服务，开发者可以快速生成和驱动数字人模型，赋能在线教育、文娱直播、企业会议等行业应用，让每个企业员工实现“数字人自由”。例如，用户只需在华为云MetaStudio的服务页面上传20秒的个人视频，就可以快速生成个性化的数字人讲解视频，过去3个研发人员3天完成的工作，现在只需要3分钟就可以完成。

开放同飞，携手客户伙伴共赢大模型生态

华为云致力于构建以开发者为核心的、开放共赢的全球生态体系。目前，华为云全球开发者数量已超过460万，云商店上架的商品已达10000多个。

华为云提供了易用可靠的大模型工具套件、汇聚海量多行业场景API的开天aPaaS，以及包含丰富优质课程和技术认证的大模型专属社区，希望与开发者及伙伴一起，共同探索盘古大模型与行业结合的创新路径。