微软、OpenAI、英特尔、谷歌、英伟达，成立开源大模型安全联盟

专注AIGC领域的专业社区，关注微软&OpenAI、百度文心一言、讯飞星火等大语言模型（LLM）的发展和应用落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！

7月19日，在2024年阿斯彭安全论坛上，微软、OpenAI、英特尔、谷歌、英伟达、亚马逊、思科、IBM、Anthropic等十多家科技巨头联合成立，专注于AI大模型安全部署、应用的开源联盟——CoSAI。

随着ChatGPT、Midjourney等产品的火爆出圈，全球多数行业开始研发自己的大模型以打造量身定制的生成式AI产品。但是在研发的过程中，模型的安全测试、部署等都是分散的，开发者面临不一致、孤立的指导方针和标准。

所以，CoSAI主要目的就是开发和共享大模型安全的开源产品、方法论，同时制定标准化开发框架、指南以及评估方法，来确保不同行业的一致性，有助于开发者无论经验或预算如何，都能开发和部署安全的大模型。

CoSAI的安全项目范围非常广泛，能有效减少模型盗窃、训练数据的数据投毒、通过提示注入注入恶意输入、规模化滥用预防、成员推断攻击，模型反演攻击或梯度反转攻击以推断私人信息，以及从训练数据中提取机密信息等目前市面上主流的大模型攻击方法。

CoSAI的第一阶段将专注三个领域：1）保证生成式AI产品供应链安全，CoSAI将延伸SLSA的验证体系到AI大模型，深入理解模型的生成和推理。

例如，谁进行了模型训练，训练过程是否以安全和可审计的方式进行，以及自模型创建以来是否未经篡改。还将探索如何运用加密技术来验证AI供应链的安全性，特别是在流行的大模型库中。

2）开发一个防御框架，能识别和对抗潜在的大模型攻击提升网络安全。再通过规模化的投资和安全策略来帮助开发者应对模型可能面临新的网络安全挑战，以适应不同的恶意攻击方法。

3）CoSAI将致力于大模型安全和隐私治理的工作流，将开发一套风险和控制的分类法、清单和记分卡，来指导开发者在生成式AI产品的安全性和隐私方面的准备性评估、管理和监控。

CoSAI还与OpenSSF、AI Alliance、Cloud Security Alliance、Partnerships on AI和Frontier Model Forum等安全组织进行深度合作，共享研究成果扩大安全联盟范围。

此外，CoSAI已经确定了操作遵循特定的许可证，CC-BY 4.0用于文档和数据贡献；Apache License v2.0用于源代码和模型，也就是说CoSAI开源的产品是可以用于商业化的。

微软AI安全与保障负责人Yonatan Zunger表示，微软坚定承诺将安全性是开发AI模型的核心。作为CoSAI联盟的创始成员之一，微软将与同样致力于此目标的组织合作，共同制定行业标准确保产品的安全性。

英特尔AI安全与安全研究副总裁兼总经理Dhinesh Manoharan表示，AI大模型需要安全的标准才能在健康的生态中持续发展。作为CoSAI的初创成员，英特尔很高兴为广大的开发者提供开源安全产品、指导指南等各种安全资源。

OpenAI治理风险与安全合规负责人Nick Hamilton表示，开发和部署安全且值得信赖的AI大模型是OpenAI的核心使命。我们坚信，制定稳健的标准和实践对于确保AI的安全和负责任使用至关重要，CoSAI联盟致力于与整个行业合作实现这一目标，同时贡献出我们的专业知识和各种资源。

本文素材来源CoSAI官网，如有侵权请联系删除

END

本篇文章来源于微信公众号: AIGC开放社区