新华网测试发布AIGC-Safe：可协助检测和识别虚假信息

专注AIGC领域的专业社区，关注OpenAI、百度文心一言等大语言模型（LLM）的发展和应用落地，关注LLM的基准评测和市场研究，欢迎关注！

近日，国家网信办联合国家发展改革委、教育部、科技部、工业和信息化部、公安部、广电总局日前公布《生成式人工智能服务管理暂行办法》（以下简称《办法》），自2023年8月15日起施行。

国家互联网信息办公室有关负责人表示，出台《办法》，旨在促进生成式人工智能健康发展和规范应用，维护国家安全和社会公共利益，保护公民、法人和其他组织的合法权益。

据悉，在《办法》公布前一周，新华网召开了“生成式人工智能内容安全与模型安全检测平台”（AIGC-Safe）邀请测试发布会，测试发布由新华网联合中国科学院计算技术研究所（简称“中科院计算所”）等行业机构共同研发打造的AIGC安全治理平台，以积极响应国家数字经济战略，在监管规范AIGC治理与应用领域进行重要探索。

深伪内容安全治理为何迫在眉睫？

早在去年11月，国家网信办、工业和信息化部、公安部联合发布《互联网信息服务深度合成管理规定》，于今年1月10日起施行。今年4月11日，国家网信办发布《生成式人工智能服务管理办法（征求意见稿）》。

7月13日，七部门联合公布《生成式人工智能服务管理暂行办法》。一系列政策的密集出台，正是为了应对生成式人工智能技术快速发展带来的机遇与挑战。

“国家非常鼓励生成式人工智能的发展，但前提是安全。”AIGC-Safe平台首席技术专家曹娟在发布会上说，“生成式人工智能（AIGC）包含三个部分：文本生成、图像生成、音视频生成。以ChatGPT-4为代表的大语言模型已出现智能‘涌现’现象，图像、音视频生成已能达到人类视觉听觉难辨的逼真效果。”

曹娟现场测试发布AIGC-Safe，重点介绍了内容安全检测功能。该功能可覆盖文本、图像及音视频的检测，能有效保障内容的真实性与合规性。

检测速度快、准确率高、易于部署，在有效降低产业安全技术投入成本的同时提高安全保护效率，能够广泛应用于虚假新闻、AI换脸诈骗、活体攻击、版权内容保护和学术诚信等多种检测场景，为媒体、教育、金融、公安等领域的AIGC安全治理保驾护航。

“生成式人工智能带来的风险引发了社会担忧。”新华网相关业务负责人举例说，“未经他人允许使用AI深度伪造其声音、动作、姿势、手势，甚至使用人工智能‘换脸’、‘盗脸’；

以虚假图文、音视频等形式攻击公众人物，侵犯组织及公民的权益和隐私；以深度伪造技术攻破支付身份认证，使风险系统失效，给电信诈骗、金融诈骗、黄暴恐等违法犯罪活动带来可趁之机；

运用虚拟助手生成论文等学术作弊行为，搅乱教育体系；由于AIGC在知识产权方面的法律边界一时难以厘清，版权保护等文化传媒领域也面临前所未有的挑战。”对生成式人工智能服务的监管与治理已箭在弦上。

新华网作为新华社主办的中央重点新闻网站和具有强大创新实力的互联网上市企业，服务国家战略，持续推进科技与传媒的深度融合，此次测试发布AIGC-Safe，探寻破解AIGC安全治理痛点，引领行业健康发展，可谓恰逢其时。

中科院计算所党委委员王凡表示，中科院计算所一直围绕智能算法安全这一重大创新领域，筹建算法安全全国重点实验室，已形成引领算法安全基础研究的战略力量。“中科院计算所将为AIGC-Safe平台全力做好核心技术支撑，通过和新华网的合作，充分调动‘政、产、学、研、用’各方优势力量，探索科学的治理机制，为AIGC行业的健康发展贡献力量。”

本文来源新华网，如有侵权请联系删除

END