过去一年,AI 人工智能 在视频图像生成领域发展一日千里,足以以假乱真。只要告诉AI你需要啥视频,它就能为你生成。一些网民利用AI生成的图像散播谣言为自己博取流量,内容越劲爆,吸引的流量越多,殊不知,最终要为自己这样的表现承担后果。
利用AI生成图像散播谣言以假乱真
网友发布立交桥坍毁画面引发关注
3月9日上午十点半,一段在短视频平台发布的视频信息引起了 重庆市 南岸区委网信办职员的注意。视频是一段立交桥坍毁的画面,这段视频是网友在3月8日21点51分上传的。上线约12个小时,点赞量5700多,转发1100多,留言1100多。由于立交桥指示牌写着南岸两字,让大量网友将这段视频的事发地与重庆南岸区联系到了一起。
整段视频仅有10秒却有诸多可疑细节
职员反复研判了这段只有10秒的视频,发现了更多与现实不符的细节。
重庆市 南岸区委网信办网络综合治理与执法监督科副科长余宛蔓:这个视频是一个典型的三无视频,没有标题、没有配文字、没有定位。部分网民根据它上面的字样,就认定是我们南岸区。在视频的转发量、阅读量、点赞量持续上升的同时,发布者没有对视频作进一步地解释说明。这个视频中,车辆上的文字和车牌都不是通用的阿拉伯数字和通用的文字,车辆受损和行人的反应状况也不太正常,AI做假痕迹特别重。
重庆市 南岸区委网信办职员立即向消防、应急部门核对,证实近期重庆南岸区并未发生立交桥坍毁的重大事故,随着深入调查,最终确定该视频是AI生成的虚假消息。
重庆市 南岸区 网络安全 综合治理中心主任简伟晋:经过调查,该视频是发布者通过AI生成的内容,而且账号上有许多的AI生成视频,涉及打架打架、安全事故等不实的信息,视频发布者对自己诽谤和传谣的事实供认不讳。
标注不是挡箭牌编造虚假信息难逃处罚
这则案例有一个值得注意的地方,发布者在发布这段视频时打上了作者声明——内容由AI生成,不过最终发布者仍然被警方依法作出拘留6日的处罚。既然作者注明了这段视频是由AI生成的,是否可以解读为这段视频其实不是真实存在?可是为何要予以他行政处理?
重庆市 互联网违法和不良信息举报中心处置科科长谭婧伶:首先根据治安管理处罚法的有关规定,网民不得故意散布谣言、谎报险情、扰乱公共秩序。其次,标注AI生成不等于免责,这只是内容标识的合规要求,绝不是诽谤传谣的免责条款,生成式 人工智能 服务管理暂行办法明确规定,使用AI也不能生成流传虚假有害信息,不能以此来抵消编诽谤言的法律责任。
这段立交桥坍毁的视频在上线12个小时的时间里,被很多云里雾里的网友进行了二次流传,转发量达到了1100屡次,变相让这个谣言散布得更加广泛。 重庆市 委网信办职员也提醒网民,在转发时要谨防核对信息的可靠性。
缓一缓。千万别激动,核查关键信息,看信息来源是否权威,时间、地点、人物、事件等要素是否清晰明确。
查一查。发现内容可疑时,要查一查官方的媒体有没有报道。
停一停。在转发和评论前要先停下来,再次确定信息的可靠性。如果没有核对,建议停止转发和评论。
为博流量 AI生成不实信息发布
标注AI生成绝不能成为挡箭牌,编造虚假信息最终都会面临处罚。再来看两个类似的案例。
重庆涪陵区网民蒋某在3月18日凌晨四点半在短视频平台发布了一段视频,标题为“涪陵灌溪沟农贸市场对面房子坍毁”,视频上线三个个钟头后,蒋某于早上八点期间主动删除了这段视频。不过这段视频还是引起了 重庆市 涪陵区网信部门职员的注意。
重庆市 涪陵区互联网信息办公室副主任唐超:我们发现这条信息以后,立即通过电话与区应急局联系,核对这个事是否属于事实。得到的反馈是涪陵区灌溪沟农贸市场没有发生房屋坍毁的事情,我们判断这条信息属于谣言信息,立即将谣言线索转发区公安局联动开展调查处置。
经查,网民蒋某利用AI工具生成房屋坍毁视频在互联网上发布了不实信息,考量到他主动删除了视频和在线时间短,且未造成重大网络影响,警方对蒋某进行了批判教育。
AI生成内容劲爆视频浏览量迅速攀升
类似的AI生成的虚假信息事件发生在 四川省 武胜县 。近期,四川 武胜县 公安局 网络安全 守卫大队在网络巡查中,注意到了短视频平台上出现的两段视频,其中一段视频是一名男子身着特种兵服装,身后显示爆炸的画面。另一段视频为“大量军机飞越沿口古镇”的场景。两段视频一经发布便迅速引发网民热议,浏览量快速攀升至4万余次。
武胜县 公安局沿口派出所警察李杜军:我们第壹时间依法传唤视频发布者杨某,杨某称为寻求消遣、打发无聊,使用AI软件合成视频发布到网络上博取流量。
警方调查了解到,杨某的账号共发布视频792条,大部分作品均利用AI快速生成。为了博取流量,视频发布者杨某利用AI制作身穿特种兵制服的视频进行发布,进而获得大量关注。随后又制作了战斗机飞越沿口古镇的AI视频,而杨某非但没有告知是AI生成视频,反而反向“辟谣”,并声称“是现实的”“要打仗了”。
武胜县 公安局沿口派出所警察李杜军:我们根据《中华人民共和国治安管理处罚法》,杨某的表现扰乱社会公共秩序,造成不良社会影响,对他进行了行政处理。
AI诽谤乱象频发辟谣压力持续加大
AI技术的飞速发展,让更多的普通人可以轻松掌握并使用它,一些人为了博取流量,使用AI生成技术诽谤的现象愈演愈烈。仅重庆一地,去年重庆互联网辟谣平台辟谣的内容中,AI生成的信息就占到总数的近20%。
重庆市 涪陵区互联网信息办公室副主任唐超:现在使用AI是一种很常见的现象,AI使用的门槛越发低,第壹,制作门槛低,诽谤者只需要输入容易的指令,就能快速生成真切的坍塌事故画面,不再需要真实拍摄或现场剪辑。第贰,它的视觉冲击很强,AI生成的画面往往细节丰富,场景真实,更容易让网民信以为真,误以为“有图有真相”。第叁,溯源难度很大,由于内容由算法生成,缺乏真实拍摄的时间、地点等原始信息,给核对和追查造成新的挑战。
记者观察发现,目前网民经常使用的AI生成视频软件,都可避免费生成事故类视频,视频一般长度在5秒到10秒之间。相关调查发现,灾难谣言因直击人类恐惧本能和社交流传规律,更容易博眼球,因此也是眼下网络谣言的重灾区。
使用生成式 人工智能 服务应合法合规
《生成式 人工智能 服务管理暂行办法》规定,提供和使用生成式 人工智能 服务,应当遵守法律、行政法规,尊重社会公德和伦理道德,不得生成虚假有害信息等法律、行政法规禁止的内容。根据上述规定,AI生成虚假有害信息被明令禁止,那么生成虚假有害信息的AI工具是否也要担责?
中国社会科学院大学互联网法治研究中心主任刘晓春:AI工具生成事故画面本身不算违规,因为AI无法判断用户是用于影视特效、教学模拟等合法用途,还是用于诽谤传谣等违法用途。用户自己看、不流传也是合法的。对于该类视频,AI工具的提供者只要打上“AI生成”的标识,避免视频发生误导,就尽到了相应的义务。可是如果用户要求AI生成具体地点或特定建筑物的事故视频,AI工具的提供者有可能能够意识到存在比较突出的谣言风险,这个时候应对用户进行风险警示,并对明显具有诽谤意图的信息进行去除。
中国政法大学 人工智能 法研究院院长张凌寒:在这样的情景下,可能更多的义务就压到了流传端,流传平台要花更大的力气去鉴别、打标,甚至是下架。
治理AI生成散布谣言需多方多措并举
专家表示,治理AI生成虚假内容散布谣言,需要多方多措并举,共同治理。
中国社会科学院大学互联网法治研究中心主任刘晓春:用户也要有极为重要的法治意识和底线。首先不能首发上传AI生成的虚假信息视频,那么对于他人发布的视频,转发时务必要慎重,最好是核对后再转发,不然也有可能助长谣言流传,需要承担相应的责任。
专家呼吁,面对AI生成的“有图有真相”,每一位网友都应多一次核对、少一次激动转发。技术可以伪造画面,但法律责任和公共安全不容伪造,共同守护清朗网络空间。