【人工智能】如何识别AI安全风险？中国工程院院士邬江兴 - 尽量避免使用单一模型 要交叉验证

　　参展者登上自行车开始骑行，此时心率计、功率计、踏频器等分别收集数据并上传，屏幕上实时显示骑行距离、速度、心率、踏频等各类隐私数据……

　　这是在5月17日至19日举行的2024年第十二届西湖论剑·数字安全大会数字安全建设成果展上的一幕。该展位职员向记者介绍：“我们通过这种形式来展示数据分类分级的过程，和在传输中如何借助大模型检测潜在的数据泄漏、恶意攻击等要挟。”

　　近一段时期以来，以大模型为代表的AI（ 人工智能 ）技术持续火爆，在惊喜于大模型的“聪明能干”时，许多人也开始隐隐担忧：当我们在跟大模型对话时，会不会造成个人信息或商业机密的泄露？AI在造成便捷与红利的同时，还会造成哪些安全方面的挑战？我们又应该如何应对？

　　带着这些问题，《每日经济新闻》记者在大会期间采访了包含院士、专家学者、 网络安全 头部企业在内的多位业界人士。

　　挑战： 数据安全 问题日益凸显

　　随着大模型和生成式AI的兴起， 数据安全 问题日益凸显。

　　“一旦交互，肯定会有数据泄漏的危险。好比你的位置、个人喜好会在无意间被收集。”浙江大学计算机科学与技术学院副教授、 杭州市 人工智能 学会副理事长金小刚接受《每日经济新闻》记者采访时说：“我们使用大模型的形式是跟它对话，收集数据是肯定存在的，这就需要大家最好不去使用信誉不好的企业平台。”

　　中国科学技术大学公共事务学院、网络空间安全学院教授左晓栋在接受《每日经济新闻》记者采访时表示：“当前，对生成式AI的安全关切是多方面的，包含意识形态安全和 数据安全 等。”

　　他举例说，在 数据安全 方面，生成式AI要依靠数据来训练，但数据如果被污染了咋办？另外， 人工智能 在训练中有时要用到个人信息，甚至是商业秘密，相关方的权益该如何保证？个人是不是有信息权益保护方面的诉求？

　　意识形态安全方面，生成结果是否符合法律法规的要求？这些数据的使用是否合法？这些也是大家高度关注的。

　　谈及大模型在数据处理、分析、生成中可能造成的数据泄露、滥用等风险，科技部网络空间安全2030计划专家组成员、教育部信息技术新工科联盟网络空间安全工委会主任委员、俄罗斯国家工程院外籍院士胡瑞敏对每经记者提到了三大安全隐患：数据隐私，包含数据泄露；模型劫持；内容的安全和合规合法和安全审计问题。

　　“这就要求安全技术务必跟进，并且和大模型有机结合。”胡瑞敏说，据他了解，国内很多单位已经在开展这方面工作。

　　风险：“黑模型”已经出现

　　除了训练、使用大模型造成的安全风险，非法分子还会利用AI深度伪造诈骗。其实，深度伪造技术早已出现，最典型的就是AI换脸。

　　浙江垦丁律师事务所联合开创人欧阳昆泼在接受《每日经济新闻》记者采访时表示，在AI时代，深度伪造技术的滥用使图片、视频的真伪越来越难鉴别。“深度伪造目前已经发生了很多刑事案件。”

　　不仅如此，目前已经出现了“黑模型”——基于一些“黑灰产”数据训练出来的大模型，专门用于诈骗、窃取隐私、“垂钓”等。他举例说，以前要做一个垂钓软件或黑客攻击，技术门槛较高，但现在只要输入指令，“黑模型”就可以生成一个垂钓软件，门槛非常低。

　　 中国电信 集团公司原总经理、全球云网宽带协会董事会主席李正茂在大会期间对《每日经济新闻》记者表示：“我们感到现在对电信网络诈骗应对起来比较麻烦，如果AI技术被犯罪分子利用，就会变得更加麻烦。若要依赖第叁方帮你甄别，可能还没甄别出来就已经被坑了，这是个大问题，要引起足够重视。”

　　探索：用AI防控、治理AI成为安全领域的必选项

　　每经记者了解到，多位专家在演讲或受访中都提到安防领域“道高一尺，魔高一丈”，那么以AI对抗AI是否是一个前途？

　　对此，中国工程院院士邬江兴对《每日经济新闻》记者表示：“同一个模型，不能自己检验自己，可是可以用别的AI模型来检验你的AI模型。”

　　 安恒信息 老总范渊在接受《每日经济新闻》记者采访时表示，随着AI技术的发展，要挟也愈发凸显。“以AI对AI、以AI管AI是数字治理的一定趋势。AI让网络攻击的门槛更低，更难以防范。用AI来防控和治理AI，正在成为安全领域的必选项。”

　　范渊提到，现在很多地方开放公共数据去训练和支持 人工智能 产业，但同时又很担忧会造成数据和隐私的泄露。基于机密计算的大模型训练与推理，让这些问题得以解决。

　　他还提到，在内容安全方面，也有许多大模型的注入，内容的输入、输出安全，都是非常具有挑战的部分， 数据安全 、模型安全、应用安全，这些都是让 人工智能 更安全的重要部分。“一是怎样及时发现与阻断虚假内容；另一是防止侵犯 知识产权 、敏感数据泄露和如何防御提示词的注入、提示词的绕过等。”

　　AI还可以提升安全问题的解决效率。范渊举例说，之前600人/天的数据分类分级项目，结合AI大模型“恒脑”知识库、相关语义识别能力、关联推理能力，和站在业务视角的字段理解与注释，可以协助人工快速决策判断，最后只用20人/天就完成了，效率提升30倍。

　　范渊坦言，也有许多顽疾始终没有处理。“产品不够、服务来凑，海量告警数据需要靠海量的人去解决。”

　　“可是AI为这个行业、为数字化建设造成了巨大变革。”范渊直言，AI可以把几百万个告警数量减少到几万个，从几万个当中智能甄别哪些不构成要挟或不用处理，解决了误报、待优化的内容，和分辨可防御的、已经防御完成的告警，最后只留下少量告警需要人工研判，这是人力可处理的。

　　不过，在金小刚看来，AI永远是工具，最终起作用的还是人。“在安全问题上我永远主张创新才是真正处理问题的要领。”

　　应对：多维度、多种AI系统交叉印证

　　对于AI造成的安全风险，我们如何应对？

　　邬江兴对每经记者表示，AI目前在科学上具有不可解释性，我们没办法对它的数学、物理性质作出解释，这是它一般原理上的缺陷，所以许多人想利用这种缺陷进行不法行为。

　　“我们现在有个解决办法，就是通过基于内生安全的AI应用系统来处理。”邬江兴说，这种AI应用系统是多维度、多种AI全面的交叉印证，非法分子在某个AI系统上做了手脚，在交叉印证中就会被发现。

　　“任何人在某一个模型、某一个数据上做手脚是没用的，它可能对A模型有用，但对B模型没用，因此我们用交叉印证来验证。”邬江兴说，就像盲人摸象一样，一个人摸，可能认为象是圆柱体，可是多角度结合起来看才理解象是啥样子。局部的问题我们看不明白，假如是多个维度看就能看清问题了。

　　对于非法分子借助AI工具诈骗的表现，邬江兴表示，AI的特异性决定了非法分子可以用某一个模型诈骗，但放在另外的模型下可能就不管用，就像假如非法分子进行黑客攻击，他可以攻击一个模型，但不能同时攻击多个模型。“因此我们要用多样性印证。”

　　邬江兴反复强调在应用中尽量避免使用单一模型，单一模型假如是在“一本正经地瞎说”，使用者是不能判断的，可是如果其它模型也是这样的结局，使用者就可以大致有个判断。

　　“我们不能机会主义地去用那些不安全的AI系统，但也不能理想主义地去用绝对安全的AI系统，因为不会绝对安全。”邬江兴说，这中间怎么权衡？就是要用多样性来保证。使用几种典型的模型，相互之间进行印证。

　　对于AI，尤其是深度伪造造成的安全风险，胡瑞敏认为，第壹要对智能技术应用做一定约束，要实现可信的智能，对模型的安全等都要进行有效监管；其次，要提升深度虚构的检测技术，应该有全局布局，确保深度虚构的危险可控。

　　这些鉴别技术普通人是否易得？胡瑞敏表示，我们有许多深度虚构的鉴别技术，很容易做成工具为大众所使用。“当然，由于智能技术发展非常快，也越来越成熟，这也给鉴别技术提出了新的要求。”