新华网北京4月25日电（记者孙晶） "这就是当前数字安全最大的隐患。"在清华科技园的一间明亮办公室里，瑞莱智慧创始人兼CEO田天指着屏幕上一段看似普通的视频对记者说道。画面中，一名年轻人正对着手机摄像头眨眼、张嘴、点头——这些本应是验证"真人在场"的动作，却可能成为AI时代最脆弱的安全环节。"传统身份验证系统轻易就被AI合成技术攻破，"他进一步解释，"黑产已能通过高清显示屏播放合成视频，轻松骗过银行的人脸识别系统。"
瑞莱智慧创始人兼CEO田天
这不是科幻电影中的桥段，而是当下各类需要高安防的机构面临的真实挑战。作为中国最早聚焦AI安全的创业公司之一，瑞莱智慧从清华大学人工智能研究院孵化而出，致力于在人工智能落地过程中构筑安全防线。
被忽视的"前置安全"
与传统网络安全领域不同，田天强调AI安全必须前置。"安全在传统领域往往是后置的——只要没有人攻击你，你甚至感受不到安全的重要性。但AI完全不同，安全是使用的前提条件。安全是‘1’，其他的才是后面的‘0’。"他解释道，"没有足够的安全保障，AI根本无法发挥作用。"
2024年7月31日，在第十二届互联网安全大会上，中国工程院吴世忠院士做了“对生成式AI安全研究的九点观察”的报告中显示，随着生成式AI的兴起，安全研究严重滞后于技术创新，特别是Transformer模型和预训练大模型时代，这种滞后现象尤为突出。
2025年2月，在巴黎举行的人工智能行动峰会(AI Action Summit)上，包括法国、中国、印度、日本、澳大利亚和加拿大等在内的61个国家签署了一项强调人工智能应当是"开放、包容、透明、合乎道德、安全、可靠和值得信赖的"联合声明，唯独美国和英国拒绝签字，凸显了国际社会在AI安全治理上的分歧。
田天将AI安全分为三个层次：AI自身的可控性问题、AI滥用问题和AGI（通用人工智能）安全问题。
"第一个层次是AI自身的可靠性，比如大模型的幻觉问题，这直接影响应用效果。第二层次是滥用风险，AI可以被用于造谣、诈骗，尤其是随着生成技术的普及。"田天解释道，"第三个层次是更前瞻性的AGI安全问题，虽然现在AGI还未实现，但必须前置考虑，因为一旦失控，可能无法挽回。"
田天特别强调自动驾驶系统作为AI自身可控性问题的典型案例："在常规道路和高速公路上，自动驾驶系统表现得很好，但在面对特殊场景或对抗环境时就会出现问题。如果有人故意制作一些不常见的图案去误导算法，自动驾驶相关的算法往往表现不足。这种对抗环境下的安全隐患，严重制约了AI技术在关键领域的落地应用。"
对于滥用风险，田天提供了更具体的场景："现在技术完全可以实现用AI去合成一段地震或海啸的视频，对不明真相的人来说很可能信以为真。同样，AI也可以被用来伪装成他人身份，包括你信任的亲友甚至老板身份，进行诈骗活动。这种滥用已经以实际案例证明，并带来了对社会秩序的严重危害。如何限制这种滥用，是当下AI伦理安全面临的紧迫挑战。"
内容泛滥时代的真实性挑战
在田天看来，AI生成内容将彻底改变互联网生态。"不久的将来，互联网上绝大多数内容都将是AI合成的。"他预测，"AI生成一篇文章、一段视频的速度和效率远超人类。这会带来巨大的信息真实性挑战。"
这一预测已有迹象显现。根据吴世忠院士的研究，仅2023一年，基于深度伪造的诈骗暴增3000%，钓鱼邮件增长了1000%。根据Regula公司2024年9月发布的调查显示，全球49%的企业受到音频和视频诈骗的攻击。微软AI红队也报告称，传统安全基准无法检测AI特有的说服、诱导、心理操控等能力，这需要全新的危害发现框架。
"我们必须开发能够区分AI生成内容的技术，建立新的内容真实性验证机制。"田天表示，"这不仅是技术问题，也关乎社会信任体系的重建。" 他认为面对这一挑战，人工干预难以奏效。"随着AI合成技术的发展，仅靠人眼已无法区分真伪内容。对普通用户来说，教育他们分辨AI合成内容已经不现实，因为AI技术实在太强大。几年前我们还建议人们通过要求对方做夸张表情或触摸脸部来识别视频真伪，但现在这些方法已经完全失效。"田天强调，未来的解决方案很可能是"AI对抗AI"——"我们需要为每个终端、每个使用场景提供AI辅助鉴别工具，无论是浏览器、手机还是视频会议系统，都需要实时分析判断内容真假，增强人类辨别能力。只有通过将AI技术本身用于识别和防范，才能在这个充斥AI生成内容的时代重建信息可信度。"
田天认为，中国在AI发展理念上展现出非常强的先进性。"中国在AI各个发展阶段，包括深度学习、自动驾驶和大模型阶段，都很早就出台了相关法律法规和标准规范，给从业者提供了明确指引。"他说，"这些指引不仅告诉行业哪些事可以做，哪些不可以做，还为AI的安全落地提供了框架。"他说。
谈到AI安全的全球格局，田天认为中国有机会做出独特贡献。"中国既重视AI的前沿创新，又有庞大的应用场景和实践经验。我们可以通过大量实践，总结出一套更安全可控的AI落地解决方案。"
这种观点呼应了吴世忠院士的AI安全治理的观察。目前，AI安全研究主要涉及四个方向：理论研究、技术研究、政策和伦理研究以及实际应用研究。其中，"对抗攻击研究"成为安全研究的热点，而"RLHF和强化学习"则在安全对齐方向发挥关键作用。
Regula公司的调查也揭示了各行业和地区企业在应对深度伪造威胁方面的经验差异。例如，在金融服务、航空和加密货币这三个受访行业中，音频深度伪造的威胁比视频深度伪造的威胁更大。与此同时，执法部门、科技行业和金融科技行业报告的面部视频诈骗数量更多。
瑞莱智慧的核心产品之一是针对金融领域的"人脸防火墙"，能有效拦截AI合成的欺诈尝试。"金融领域对安全性要求极高，一旦出问题，会带来直接的经济损失。"田天说，"尤其是生成式AI出现后，传统安全系统面临前所未有的挑战。"
展望未来：把握安全与创新的平衡
创立瑞莱智慧的决定源于清华大学人工智能领域的研究积累。"2018年，我们看到AI可控性和安全性需求日益迫切，尤其是在自动驾驶等关键领域。"他回忆道，"当时选择这个方向并不是市场最热的，但我们坚信这是未来的必然需求。"
面对AI领域的高度不确定性，田天的应对之道是快速迭代和坚守初心。"在AI这个领域，你不可能等一年再复盘调整，必须更短周期地评估和调整。尽管这很辛苦，但必不可少。"
"与传统项目不同，AI创业面临的不确定性是多维度的。"田天进一步解释，"技术路径有无数条，短期效果不等同于长期价值，很多决策的好坏在短期内难以判断。比如大模型爆发出如此强大的力量，我相信业内绝大多数人都没能预测到它会在这个时间点出现。这种技术的不确定性，加上商业化、研发和产品路径的高度不确定性，使得保持竞争优势变得极具挑战。"
谈到创业初心，田天流露出对技术应用的热忱："我选择创业的本质驱动力，是希望将AI安全研究从纸面变为现实。作为研究者，我有强烈愿望把研究成果和行业判断真正落到实处。AI浪潮带来了巨大的社会变革机遇，所有人都站在同一起跑线上，不管是大厂还是创业团队，都有公平的机会。就像上一代互联网浪潮一样，很多公司能在短时间内快速成长。我相信AI时代同样充满这样的可能性。"
当被问及如何看待AI安全与创新之间的“矛与盾”关系时，田天表示，"我们不能因为当前AI存在安全隐患就一棒子打死它。关键是明确认识当前安全边界，知道哪些领域足够安全，哪些领域还不够安全。"
这种观点也反映了全球AI发展的趋势——从"野蛮生长"转向"负责任发展"。中国陆续出台了《互联网信息服务深度合成管理规定》、《生成式人工智能服务管理暂行办法》等一系列法规，构建了从产品研发、内容生成到市场应用的全流程监管框架。与此同时，欧盟通过了被称为全球首个综合性AI监管框架的《人工智能法案》，对高风险AI系统提出了严格要求，并禁止特定高风险应用场景。这些举措标志着负责任的AI发展已成为国际共识。
田天相信，国际合作机制对AI安全至关重要。"不仅是政府层面，产业界和研究机构也需要加强合作，达成共识。"他说，"中国在AI安全方面已有很多经验和方案，未来可以推向全球，造福其他国家。"
采访结束时，田天再次强调了AI安全的前置性："其他技术可能是先发展后考虑安全，但AI必须将安全放在第一位。只有确保安全可控，才能真正释放AI的潜力，让大家都能受益。"
在AI技术与应用迅猛发展的当下，瑞莱智慧这样专注安全的企业正扮演着越来越重要的角色——不是为了限制创新，而是为了确保创新在正确的轨道上前进。正如田天所言，这既是商业机遇，也是社会责任，更是构建人类与AI和谐共存的必要保障。（完）
