IBM、百度专家分享,AIGC时代的算力与数据存储
添加书签专注AIGC领域的专业社区,关注OpenAI、百度文心一言等大语言模型(LLM)的发展和应用落地,关注LLM的基准评测和市场研究,欢迎关注!
随着 ChatGPT 的问世,企业对 AI 大语言模型产生了极大兴趣,整个产业界都在积极探讨如何能够把握大模型带来的机会,把人工智能技术应用于产业,真正做到“数实相融”,实现创新突破。而生成式 AI 的浪潮对企业用户的算力资源、算法优化和数据安全都提出了更高要求,如何在部署 AI 工具的同时兼顾效率和创新,离不开灵活、安全、可持续、可扩展的 IT 基础架构。
经过几十年的算法、算力、数据方面的量变积累,AI 发展的“质变时刻”已经到来。IBM 是全球 AI 技术和应用的重要参与者,见证和引领了 AI 领域的数次变革。为了迎接这一战略时刻的到来,IBM 近日宣布启动新一代 AI 与数据平台 IBM watsonx 在本地市场落地,为企业级基础模型和生成式 AI 提供动力。
这是继红帽 OpenShift 开放式混合云技术平台之后,IBM 落地大中华区市场的又一个具有里程碑意义的开放式 AI 技术平台,旨在赋能企业使用可信数据,负责任、规模化地构建、应用和扩展领先的 AI 技术,提升竞争力。至此,IBM 基于开放式混合云平台和新一代 AI 与数据平台,从算力、存力、企业级 AI 应用到咨询,为企业提供全栈能力和强大生态。
人工智能基础架构最重要的两个能力就是存力和算力。在近期举办的 watsonx 大中华区新闻发布会上,IBM 副总裁、大中华区存储业务总经理侯淼、IBM 大中华区主机及 LinuxONE 总经理李航与行业客户代表共同解读了 AI 规模应用给存力和算力带来的挑战,以及 IBM 如何帮助企业夯实 AI 基础架构,让技术真正转化为业务价值。
在 AI 场景中,为了让数据发挥更大的潜在价值,存力至关重要。如果存力与 GPU 或 CPU 的处理能力不匹配,在性能、扩展性方面让算力处于等待状态,造成巨大的浪费。据统计,全球人工智能投资的年复合增长率是 17.5%,而人工智能存储的增长率更高,达到 23%,而其中非结构化数据占 80%~90%,这就增加了管理的难度。
IBM 副总裁、大中华区存储业务总经理侯淼指出,AI 存力难点主要体现在四个方面:高性能、高扩展性、降低成本、安全合规。百度智能云云存储部及数据库部总经理于淼对此也深有体会,她认为,在 AI 场景下,存储系统的重要使命之一就是尽可能地提高算力的效率,具体而言就是极致的性能和弹性,以及在保证超高性能的同时持续稳定输出。
百度智能云云存储部及数据库部总经理 于淼(右)、
IBM 副总裁、大中华区存储业务总经理 侯淼(左)
侯淼表示,IBM 的 AI 存力解决方案涵盖一级存储和二级存储,可为 AI 基础架构提供全面支撑,满足 AI 浪潮下的新需求。一级存储和 GPU 连接,提供高性能、扩展性和数据管理,直接参与模型的训练和生成,以及模型在使用阶段对数据访问的要求。在这一领域,IBM 通过高扩展的 AI 存力平台引擎 IBM Storage Scale 和高性能 AI 存力一体机 IBM Storage Scale System,为企业提供高性能和线性扩展能力,同时支持易管理及存储分层等技术。
IBM Storage Scale 提供了一个数据平台,支持多种协议以满足不同数据互联互通,实现水平扩展时不损失性能,同时能够进行自动管理,包括数据相关的管理和备份。IBM 基于该软件搭建了 AI 存力一体机——IBM Storage Scale System。IBM Storage Scale System 是 NVIDIA DGX SuperPOD 第一个存储合作伙伴,并将 NVIDIA GDS 集成进软件,在汽车、医疗保健、HPC 等领域广泛落地。
针对二级存储的低成本、高可靠等要求,IBM 磁带产品正在这个领域中发挥重要作用,比如大容量的 TS4500 磁带库以及今年年初发布的高密度分布式磁带阵列 DiamondBack (即 TS6000),可实现低成本的数据归档及备份,适用于大规模存储冷数据。跟磁盘相比,磁带能够大幅度降低成本 (约 80%),同时节能环保、易于访问,是帮助企业实现温数据和冷数据存储降本增效的绝佳方案。
百度是全球为数不多的、在「芯片层-框架层-模型层-应用层」进行全栈布局的人工智能公司。随着百度智能云推出 AI 创新服务,数据量急剧增加,百度的磁带规模逐年扩展。为了实现降本增效和满足数据合规要求,百度选择将 IBM TS4500 磁带库和 IBM Storage 软件创新解决方案 (即 IBM Storage Scale 和 IBM Storage Defender) 相结合,百度智能云得以降低成本并实现快速扩展,从而满足数据增长需求。
于淼表示,百度智能云已在其阳泉数据中心部署了 14 个 IBM TS4500 磁带库,存储了超过 2EB 的冷数据。IBM 冷数据存储解决方案为百度智能云提供了 30 年存储、12 个 9 的数据存储可靠性保证,满足了对高规格数据安全性的需求;同时以其高密度、能耗低的优势,助其冷数据总体拥有成本降低了 80%,节能近 90%。此外,IBM 存储团队帮助百度智能云优化部署和交互方案,实现了冷数据的便捷访问和调用。
以大数据、大模型为代表的 AIGC 热潮带来了 AI 算力需求的爆发式增长。更丰富的算力资源成为人工智能竞争的核心基石,也是企业面临的最大挑战。顺应市场趋势与客户需求,IBM 在 2022 年 9 月发布了第四代 LinuxONE 服务器 IBM LinuxONE Emperor 4,并在今年 4 月推出单机柜版本 IBM LinuxONE Rockhopper 4。
IBM 大中华区主机及 LinuxONE 总经理李航表示,新一代 LinuxONE 具有 7 个 9 的高可用性,并融入了多项黑科技,借“以一顶百”、“弹性扩展”、“安全无虞”等优势,帮助企业将 AI 应用和可持续战略的目标转化为具体行动,比如通过引入 IBM Telum 处理器的片上 AI 加速器技术,实现大规模 AI 推理,做到仅个位数毫秒级延迟;基于 Linux 和 Kubernetes 平台提供大规模的可扩展性,在单一系统的足迹中可以支持数以万计的工作负载;在 Linux 架构服务器中首次引入量子安全技术,确保系统安全;支持完全开放、开源的平台,具有超大整合力。
IBM 大中华区主机及 LinuxONE 总经理 李航
很多不同行业的客户已应用 LinuxONE 平台并取得了显著成果。爱尔眼科医院集团是中国及全球范围具有医院规模和优质医疗能力的眼科医疗集团,在 IT 建设上一直坚持较高的投产比。IBM LinuxONE 的高可靠性和单核强大算力,解决了爱尔眼科此前在财务、供应链系统等核心系统的瓶颈问题,节省了机房空间和电力消耗,给 IT 运维带来了较好回报。
爱尔眼科医院集团信息中心总监唐凡指出,人工智能应用是爱尔眼科的数字化发展方向之一,在这方面,医疗行业普遍面临的一个挑战就是缺乏大规模的高质量标准数据,数据隐私和安全的考量导致不同的医疗机构之间数据难以共享。爱尔眼科期待未来和 IBM 进一步合作,让人工智能在各种场景里更好地为患者服务,让科技造福人类。
在算力层,IBM 生成式 AI 的能力已经开始落地。IBM 于近期推出了基于 watsonx 的生成式 AI 功能——watsonx Code Assistant for Z,帮助开发人员在 IBM Z 系列主机上更快地将 COBOL 代码转换为 Java 代码,从而提高开发人员的生产力,加速实现主机应用现代化。
面对滚滚而来的生成式 AI 浪潮,企业如何让 AI 快速落地并转化为核心生产力?IBM 认为:根据企业自身的业务需求、使用企业自己的数据,为他们量身定制生成式AI解决方案和模型。IBM 将借助 watsonx 平台,融合强大的算力、存力解决方案,帮助企业打造面向未来的基础架构,在“AI+”新赛道上占得先机。
本文来源IBM中国,如有侵权请联系删除
END