虚假语料污染大模型,“AI嘴替”或演绎新型市场操作链。
假如在纳米AI搜索输入“ 三六零 (或360)投资过DeepSeek么?”的提示词,其给出的定论令人受惊。
答案显示,在2023年首轮融资中,360集团作为早期投资方之一,联合多家机构共同支持DeepSeek的AI技术研发。2024年新一轮融资中,DeepSeek完成新一轮数亿美元融资,360集团继续跟投,显示出对DeepSeek技术前景的持续看好。同时,答案中还明确了包含技术协同、商业化潜力、技术合作与安全支持等在内的投资逻辑。
不仅只有 三六零 一家公司“投资过DeepSeek”。近期, 慈星股份 、 华胜天成 、并行科技、 诚迈科技 等许多家公司,都成为AI问答截图中的角色。以 慈星股份 为例,AI回答中明确,这家公司“早期投资了DeepSeek”,相关内容与涉 三六零 回答高度相似。
但这些答案明显经不起检验。甭管是比对工商信息,还是企查查等第叁方平台,这些所谓的“公司为DeepSeek股东”捕风捉影。
已经有上市公司辟谣。好比,有投资者问 慈星股份 董秘:“网上都说子公司与深度求索前期有合关系而且有向DeepSeeK投资1亿元是真实的么?”公司明确回复:关注到近期部分社交平台上有传言称本公司或公司下属分、子公司参与DeepSeek融资。经核对,上市公司及其子公司均未参与DeepSeek的投资。
另外, 华胜天成 董秘屡次回复投资者提问强调:直到今天,公司未通过直接或间接方式持有DeepSeek所属公司的股份。
既然上市公司明确辟谣,那么是啥原因造成这些错误回答呢?答案是与语料投喂有关。
记者查询前述“360投资过DeepSeek吗”中的参考资料,发现某平台自媒体号成为重要语料源头。
在 三六零 社区中,就有关于“360于2023年就参与DeepSeek 的投资”话题的相关文章,且不仅一篇,而是多日连续出现。细看此类文章的作者,全部为匿名,内容没有明确官方信源,匿名作者也对内容的可靠性不负责。
中国信通院相关责任人对记者分析说,这在业内称为“语料污染”:“我们曾做过试验,当在特定论坛连续发布百余条虚假信息后,主流大模型对对标问题的回答置信度就会从百分之十几快速飙升。这就像在纯净水中滴入墨水,当污染源足够密集,整个知识体系都会被扭曲。”
在这种情景下,如果没有新的真实语料覆盖虚假语料,就会造成“劣币驱逐良币”。由此,则当投资者提出相同问题时,所得到的AI答案大概率就是失真的。
那么,是哪个来发布相关这些伪造信息呢?从近期语料提供方来看,市场指向一批账号“马甲”。这些账号多地、屡次散布诸如“某公司入股DeepSeek”等谣言,喂养给AI大模型错误答案,给AI“洗脑”。
前述信通院人士对记者拆解了可能存在的“打法”:通常来看标准作业流程包含三个阶段:首先通过自动化脚本在多个论坛同步投放虚假信息,接着利用爬虫技术加速搜索引擎收录,最后用污染后的AI回答进行社交媒体裂变流传。根据业内惯例,完成整套操作的成本通常为万元级别。
今日头条就在将AI谣言进行“靶向打击”。在2月24日今日头条平台治理开放日上,清华大学新闻与流传学院副教授陆洪磊表示,AI正在重塑网络信息的流传生态,我们正面临一场空前绝后的信息可靠性“战争”。谣言之所以能够俘获受众,主要是因为受众的认知和情绪。因此,投资者提升认知极为重要。
对此, 慈星股份 方面给出回应:网络信息源头极为重要。投资人也需要“注意甄别网络信息源头,理性判断,谨慎投资,注意投资潜在风险”。
涉及方也应积极作为。北京某家公司董秘对记者介绍,当谣言所涉及上市公司未主动澄清时,普通投资者几乎难以甄别信息的真伪。这也说明上市公司及时关注股票价格表现、及时跟踪舆情情况、及时给出准确回复的重要性。
隐秘利益链?
从近期案例来看,误导大模型其实不是“黑嘴”炮制虚假内容的最后环节,他们往往再会将AI回复截图作二次流传,这样AI大模型就成为这些黑嘴的“嘴替”。
那么,这些“语料污染”制造者,频繁制造“假利好”的动机是啥呢?
北京某私募人士则对记者透露,背后可能存在利益链条,不排除有诱导出货的可能。他举例说,好比通过虚假语料投喂—模型污染—二次流传—股票价格异动,假如这个灰色产业链构成闭环,那么就有可能构成新型的市场操作链条。
这一猜想其实不是无中生有。
此前,证券时报·e公司曾报道,抖音等短视频平台直播荐股,对于新投资人的诱骗效用空前变强。从某些个股表现来看,以新投资者为代表的散户合力,对股票价格引发的撬动作用,甚至堪比中等规模的游资。而在直播荐股背后,一些游资与主播的“合谋盈利模式”也暗流涌动。短视频直播间由此可能成为个别游资找寻接盘者的新阵地。
针对“AI黑嘴”现象,已经有媒体表示,在阳光照不到的阴暗角落,股市“黑嘴”们及幕后的不法之徒,在利用AI作恶,用虚假语料误导大模型作犯错误回答,再将这些“AI答案”流传扩散坑骗散户,以干扰甚至操作个股的市场交易。
前述信通院人士表示,随着技术的进步,“黑嘴”模式也在不断变化。背后显现出当前大模型在商业关系识别上存在的某些缺陷。好比,无法区分技术部署与商业合作、难以追溯股权多层穿透、对时间维度变化不敏感等。这些都有待技术层面在AI、在商业知识图谱等方面补齐短板。
目前,监管职能部门发布2025年“清朗”系列专项行动通知。通知中就明确,将从整治AI技术滥用乱象、整治涉企网络“黑嘴”等八个方面下手,严厉惩戒各类侵权犯法行为。
陆洪磊表示,AI谣言流传具有新闻性、说服性、虚假性、非官方性、强流传性、不可逆性等特点。要想治理AI谣言流传,需要解构语境、遏制主体、阻断投射、也需要协同治理。“在真相与谎话的赛跑中,没有人是旁观者。”