【相信AI】AI也会-栽赃-？有律师被虚假-定罪-！专家 - 大模型-幻觉-无法根除，但可防控

　　红星资本局5月9日消息，当搜索AI，却显示自己的“犯罪信息”该咋办？江苏南京执业律师李小亮就遇到了被AI“定罪”的情景。

　　AI会“骗人”其实不是一个新话题，但“技术上能否避免”“我们是否还能继续相信AI”是值得探讨的话题。对此，红星资本局就相关问题采访了有关专家。

被AI虚假“定罪”其实不是个案

　　据媒体透露，李小亮发现，在百度手机APP、百度网站搜索“李小亮律师”“南京李小亮律师”“江苏李小亮律师”等关键词，在百度搜索下拉词、“大家还在搜”“相关搜索”“AI 智能回答”等板块会出现“南京李小亮律师判刑了么？”“南京李小亮律师判刑了多少年、南京李小亮律师涉案金额”等搜索和下拉词条内容。

　　更严峻的是，当搜索“李小亮律师被判几年”时，“AI智能回答”直接给出：“三年，李小亮律师被判三年有期徒刑。根据探索结果，被告人李小亮因犯爆炸罪，被判处有期徒刑三年。”回答中甚至配上了李小亮我穿戴律师袍的相片。

　　随后， 南京市 江北新区人民法院一审认定北京百度网讯科技有限公司（下称“百度公司”）上述行为构成名誉侵权。百度公司在庭后提供的情景说明中认为，AI搜索结果与用户输入提示词高度相关，且当时国内 人工智能 发展尚处早期，技术有限，侵权内容具有极强的偶然性。

　　一审判决后，百度公司不服并提起上诉。二审庭审中，百度公司的诉讼代理人表示，所有 人工智能 都会发生幻觉，AI幻觉的出现具有不确定性，百度公司无法预见，因此不能认为有过错。

　　该类情况其实不是个例。此前也有媒体曝出，北京律师黄贵耕同样因百度AI自动生成严重虚假负面信息而深受困惑。AI将他描述为要挟法官、介绍贿赂、伪造印章、非法吸收公众存款等多个刑事犯罪信息的当事人，且每一项虚假信息都直接关联他的职业身份，给他造成了巨大损失。

大模型为啥会发生“幻觉”？

　　有业内人士告诉红星资本局，上述提及的“AI幻觉”，包含事实性幻觉（编造不存在的事情、数据）、归因幻觉（虚构信息来源）、逻辑幻觉（推理链条断裂却输出看似正确的定论）。

　　除此以外，还有身份混淆，把同名同姓、相似职业、相似地区的人混为一谈；把过去、现在、将来的信息混在一起；文字错了，相片却配上了真实我等等，都属于“AI幻觉”的范畴。

　　眺远影响力研究院院长高承远对红星资本局表示，AI生成这种严重虚假信息，根源在于大语言模型的"概率生成"机制——它不是在检索事实，而是在预测下一个最可能发生的词。

　　“当训练语料中关于某个特定人物的信息稀疏或存在噪声时，模型会基于‘律师’‘判刑’等高频关联词进行‘合理拼凑’，本质是对语义相关性的误用，而非事实判断。”高承远说。

　　香港中文大学（深圳）数据科学学院助理教授、深圳河套学院双聘教授王本友告诉红星资本局，AI生成虚假信息，的确有技术原因，但它不是一个容易的“程序 bug”。

　　王本友解释，大模型本质不是在像搜索引擎一样查事实，而是在根据已经有训练和上下文，生成一个“看起来最合理”的回答。所以当它遇到信息不完整、问题比较模糊、或自己没有可靠依据的时候，就可能会一本正经地编出一些内容，而且表达得很像真的。

　　“该类问题可以靠技术迭代缓解，好比模型更大、更聪明之后，通常会好一些，低级错误会少一些，逻辑也会更稳一些。但它很难被完全消灭。”王本友表示，因为只要AI还是生成式模型，它就会有补全、联想和生成的能力，也就可能在不明确的时候“脑补”。

责任之争：是技术局限，还是产品治理失位？

　　“这件事不能简单归结为‘AI还不成熟’。”中国科技新闻学会科幻流传与未来产业专委会会员专家高恒告诉红星资本局，从技术上看，AI的确可能发生幻觉，但在搜索产品里，把一个执业律师错误写成“被判刑三年”，这既是技术问题，也是产品治理问题。技术可以降低该类错误，但不能只靠“模型更聪明”来处理。

　　高恒认为，对于涉及个人犯罪记录、司法判决、职业信誉、医疗健康、金融投资该类高风险信息，平台不能让AI自由施展。

　　“正确做法应该是：没有权威来源就不回答；没有法院文书、官方公告等可靠证据，就不能生成肯定性结论；一旦涉及‘判刑’‘违法’‘失信’等严重负面标签，系统务必提高审核门槛，甚至直接拒答。”高恒说。

专家：“AI幻觉”无法根除，但可防控

　　那么“AI幻觉”能不能完全避免？“很难。”高恒说，只要大模型还是基于概率生成语言，就不会做到100%无错。

　　他指出，问题的关键不是“能不能让AI永久不犯错”，而是“能不能在高风险场景里阻止它把错误变成公开伤害”。

　　高承远则指出，幻觉能否避免，决定于三个变量：一是模型是否具备"知其所不知"的能力——当前多数模型在置信度校准上表现糟糕，低置信度时仍言之凿凿；二是知识更新机制能否实时同步权威信源，避免用静态训练数据回答动态事实；三是商业平台是否愿意为降低幻觉投入充分的工程成本，包含人工审核、溯源标注和负反馈闭环。

　　高承远解释，技术迭代可以明显降低发生率，但"零幻觉"在概率模型框架下是数学不会，只能无限迫近，不能根除。“技术层面无法100%消除，但‘无法预见’不等于‘无法防控’，平台对明显涉及人身权益的生成内容负有更高的注意义务。”

　　高恒也提到了多方因素，他指出，模型能力只是第壹层，后面还有数据源质量、检索系统、事实校验机制、置信度控制、敏感场景识别、人工审核、申诉纠错机制。尤其在法律和个人名誉相关场景，平台应该建立更硬的规则。

　　“幻觉不是完全不可控。它不能完全避免，但可以通过更强模型、检索增强、工具验证、场景约束和人工反馈不断降低。”王本友表示。

分场景信任，AI可用但不可盲信

　　如果幻觉无法“根治”，那么我们还可以相信AI么？三位专家给出的定论是，可以，但要分级别。

　　“不能盲信，但也没必要全盘否定。”高恒更倾向于把AI分成两类场景看：在创意、写作、代码辅助、资料整理该类场景，AI可以放心用，但要保存人工判断；在司法、医疗、金融、个人名誉、公共安全这些场景，AI只能作为辅助工具，不能直接成为事实裁判。

　　高承远则表示，信任务必分层、分场景。在创意发散、代码辅助、知识框架梳理等容错率高的场景，AI的效率增益远超风险成本；但在司法、医疗、金融、人身名誉等高风险领域，AI输出务必被视为"草稿"而非"定论"，需要人机协同验证。

　　“真实的信任建立，不在于消灭幻觉，而在于建立可预期的责任机制——谁生成、谁审核、谁担责，链条清晰了，用户才能知道啥时候可以信、信到啥水平。”

　　“确却的说，是我们不能‘无条件相信AI’。”王本友表示，AI幻觉很难完全消灭，但可以被缓解、被检测、被约束。

　　他认为，关键不是要求AI永久不犯错，而是建立一套使用方法：哪些场景可以直接用，哪些场景只能辅助用，哪些结论务必核对，哪些任务务必有人类专家把关。“我们不能盲信AI，但也不用因为幻觉问题就否定AI的价值。”