近日,杭州市中级人民法院公布一起案例:两名不法分子利用网络收集他人照片,通过AI生成点头、摇头、眨眼等动态视频,再通过篡改相机数据,成功突破购物平台的人脸核验,盗取账户内个人信息。
AI为何能骗过系统?在AI换脸突破主流核验的情况下,人脸识别是否安全?这种风险又该如何来应对?科技日报记者就此采访了有关专家。
第一问:“AI脸”与真人脸为何难以区分?
“传统人脸核验主要依靠活体检测,通过点头、摇头、眨眼等动态动作,区分真实用户与静态照片、视频。”天翼安全科技有限公司高级专家危嘉祺对记者解释,“但随着生成式人工智能技术快速发展,AI已经能够根据单张照片生成高度逼真的动态人脸视频,甚至模拟符合核验要求的动作。部分攻击还可结合虚拟摄像头、视频流注入等技术,绕过真实摄像头采集环节,使系统难以有效区分真实人脸与合成内容。”
但这并不意味着人脸识别技术已经失效,说明依赖单一动作验证的传统技术路线面临新的安全挑战。“人脸识别仍具有重要应用价值,但不能将其等同于绝对可靠的身份认证手段。”他说。
第二问:人脸核验相关风险由谁承担?
“AI发展带来的新型安全风险,需要坚持依法治理、权责一致、多方协同的原则,构建政府监管、企业履责、行业自律、社会监督、公众参与的治理格局。”危嘉祺表示。
具体来看,首先,对于利用AI伪造他人人脸信息、实施身份冒用、非法获取个人信息等违法犯罪行为,应依法追究相关主体的法律责任,从源头遏制技术滥用。
其次,应用平台和技术服务提供方应按照各自职责,依法落实个人信息保护和网络安全相关要求,持续完善身份核验机制,加强对深度伪造、视频流注入等新型攻击的风险识别与安全防护,切实保障用户合法权益。
最后,监管部门应进一步完善相关标准规范和安全评估机制,推动行业建立风险信息共享、漏洞通报和协同处置机制。公众也应增强个人生物识别信息保护意识,避免随意公开或向不可信渠道提供敏感信息。
“需要强调的是,不能因为新技术存在被滥用的风险,就否定技术创新和应用;也不能将技术安全风险简单转嫁给普通用户。”危嘉祺说,应坚持发展与安全并重,通过技术创新、制度完善和多方协同,不断提升AI应用的安全性与可信度。
第三问:AI安全治理面临哪些新要求?
在危嘉祺看来,AI生成视频突破人脸核验,反映出AI安全治理正在从传统的静态风险防范,转向生成技术与检测技术持续迭代的动态攻防对抗。为此,需要从监管机制和技术能力两个层面同步提升。
危嘉祺建议,在监管层面,应进一步健全人工智能安全治理体系。针对身份认证、金融交易、个人信息查询等高风险场景,推动建立与业务风险相适应的分级分类安全要求,避免过度依赖单一生物识别手段。同时,继续完善深度合成内容标识、生成内容溯源和安全评估机制,推动建立新型攻击样本共享、风险通报和动态测评制度,提升监管标准对新技术、新风险的适应能力。
在技术层面,则应坚持以攻促防,推动安全防护从被动检测向主动对抗升级。一方面,利用先进生成式AI模型构建高逼真度攻击样本,持续开展人脸核验系统的红队测试和对抗评估,及时发现防护薄弱环节;另一方面,综合运用设备可信验证、视频流注入检测、生理活体特征分析、多因素身份认证及业务行为风控等技术,构建多层次、纵深式安全防护体系。
“特别需要关注的是,安全测评不能只针对已知攻击样本,更要检验系统面对最新生成模型、未知伪造手法和复杂攻击组合时的防护能力。”危嘉祺提醒,应推动建立覆盖攻击生成、风险发现、防护验证和持续优化的动态闭环,将真实案例及时转化为安全测评场景,不断提高人工智能安全防护的实战能力。
