4月26日，在2024中关村论坛年会—— 数据安全 治理与发展论坛上，中国科学院信工所研究员虎嵩林接受包含证券时报记者在内的媒体采访时指出，促使大模型遵循人类价值观、服从人类意图，规避各类风险，并保障数字和物理空间的应用安全，实现有用性、无害性和老实性多目标的平衡，已经成为亟待解决的世界难题。需要在现有的技术条件下持续探索，通过“攻、检、防”，不断发现漏洞、自动识别并进行持续化的安全加固，形成一个循环发展的飞轮。
当前，大模型正在成为驱动新质生产力发展的新动能、人类探索未知的新工具。“大模型不仅可以对话和生成视频、还可以调用工具、链接物理设备、并通过与 机器人 结合实现具身智能。大模型本身也正在从人类可利用的工具客体向认识、改造自然社会的主体转变。成为数学定理证明、科学研究的合作者，成为独立运营企业的法律主体。”虎嵩林指出。
在赋能新时代发展的同时，生成式 人工智能 也给全球造成了空前绝后的安全风险。好比，数据方面，数据会造成价值偏见、隐私泄露、数据污染等诸多问题：训练数据固有偏见造成模型发生偏见内容；海量训练数据扩大了 数据安全 和隐私保护风险。算法方面，算法模型生成特性及安全漏洞会引发“幻觉”或虚假信息、模型遭受攻击等风险。
虎嵩林表示，大模型能力的通用性、潜在的主体地位和应用的深度与广度，也都将进一步放大其危害水平。包含两位图灵奖得主Hinton、Bengio和谷歌DeepMind和OpenAI的总裁在内的产学两界领军人物联名发出的AI风险声明中，更将AI可能造成的“毁灭性”的危险，上升到了与流行病和核战争同日而语的高度。
2023年底《自然》杂志预测的2024年的重大科学事件中，GPT5的发布和联合国 人工智能 顶级别咨询机构将发布的AI监管相关报告位列其中，反映了全球对协调 人工智能 发展与安全的重大关切。
“毫无疑问，促使大模型遵循人类价值观、服从人类意图，规避各类风险，并保障数字和物理空间的应用安全，实现有用性、无害性和老实性多目标的平衡，已经成为亟待解决的世界难题。”虎嵩林表示。
“大模型的安全风险主要体现在无害性（Harmless）和老实性（Honest）两个方面。”虎嵩林表示，其中，有害信息对应前者，包含价值偏见，隐私泄露，还有黄赌毒、涉恐涉暴、冤仇、反讽、歧视、刻板印象等等各种信息污染；不实信息对应后者，包含虚假信息、伪造、欺诈内容等。
更广义地讲，也包含由输出信息所直接引发的各类不安全的指令调用、智能体或具身智能 机器人 的恶意行为等。而算法模型生成特性及安全漏洞会引发“幻觉”，则是一把“双刃剑”，既有可能是造成有害、不实信息的“元凶”，也有可能存在是科学创新、艺术创意的能力来源。
需要看到，生成式大模型特有的预训练、微调、上下文、提示等新的学习范式，使其安全具有了与传统AI安全不一样的很多新特点，面临诸多新挑战，制约了传统安全方法、经验、工具在大模型安全领域施展效能。
大模型安全风险的成因既可以是来自各类训练数据的缺陷或算法的局限性等模型内因，也可以是利用这些新型学习范式的恶意使用或蓄意攻击等外因。这使得大模型在数据准备、预训练、微调对齐、推理和应用阶段都会存在各种潜在的危险。尽管当前我们在安全理论、大模型安全评测、自动化测试、价值观对齐、幻觉缓解等方面都开展了全面的研究和应用工作，这些领域仍然布满了挑战。
“当下，从理论上，或说技术上，大模型安全还有许多亟待解决的困扰。”虎嵩林坦言，我们对大模型“智能涌现”的原理还所知甚少，对上下文学习、提示学习、思维链等能力的内在机理仍严重缺乏认知。一些研究工作也证明AI的安全性无法完全保障，对任意一个对齐模型总存在一定长度的提示可以将之攻破等，这都极大地制约我们从原理上认识和防御大模型的安全风险。
“我们需要在现有的技术条件下持续探索，这也是我们设计‘以攻促防、攻防相长’思路，研制Galexy(星河)大模型安全测评平台的原因，也是举办首届生成式 人工智能 安全大赛的初衷。”虎嵩林表示，我们希望通过“攻、检、防”，不断发现漏洞、自动识别并进行持续化的安全加固，形成一个循环发展的飞轮。