【Genie】紧跟Sora 谷歌推出Genie AI战火烧到了-世界模拟器-

　　2月26日，谷歌Deep Mind团队发布基础世界模型Genie，一个虚拟生成的可交互环境，110 亿参数，通过给模型投喂视频数据进行训练，生成相片、草图甚至可以操控的虚拟世界。

　　Genie是在没有任何动作标签的情景下进行训练的，而传统AI是需要人给图片打标签来训练AI识别图片。这意味着Genie需要从视频中自行识别不同动作的特征和模式。

　　谷歌表示：“Genie的独特之处在于它能够专门从互联网视频中学习细颗粒度的控制。这是一个挑战，因为互联网视频通常不会标注其正在执行哪个动作、应该控制图像中的哪一部分。Genie不仅了解观察的哪些部分是可控制的，而且能根据生成的环境来推测出多种潜在的动作。请注意相同的潜在操作怎样在不一样的提示图像下发生相似的表现。”

　　根据蓝鲸财经记者观望，这是指当给Genie提供不一样的图像（类似不同版本的马里奥通关环境）时，图像中的小人能在遇到障碍时表现出同样的弹跳、逃避障碍的动作，且符合物理规律。

　　从谷歌Genie目前展示的案例来看，这些视频非常卡通化。官方网站也表示：“我们专注于 2D 平台游戏和 机器人 技术的视频，但我们的要领是通用的，应该适用于任何类型的领域，并且可以扩展到更大的互联网数据集。”

　　在官方网站上，Genie也生成了模拟 机器人 动作的视频。Genie团队训练了一个较小的 2.5B 模型，与游戏平台的情景一样，具有相同潜在动作序列的轨迹通常会表现出相似的表现。这表明 Genie 能够学习符合一贯规律的动作空间，可能适合训练多面手智能体（机械臂）。Genie 还可以模拟可以变形的物体。

　　与竞争对手OpenAI两周前火遍全球的文生视频模型Sora相同，Genie同样是一个“物理世界模拟器”，能够在虚拟世界中做物理世界的实验。不一样的是，Sora是直接从文字生成视频，这更加“大力出奇迹”，且生成视频长度可达一分钟；而Genie从目前官方网站披露的情景看，大部分情境下需要先用文生图模型来生成起始帧图片，再用Genie 生成视频，且视频在一两秒左右，更像是动图。

　　如果只把Sora、Genie当做生成视频的影视工具，就大牛鼎烹鸡了。其实，OpenAI对于Sora的定位是作为“世界模拟器的视频生成模型”，谷歌对Genie的定义是基础世界模型，能够合成可操控的虚拟世界。

　　那么“世界模拟器”究竟是啥？OpenAI官方早在2016年就作了诠释：

　　“我们经常会忽略自己对世界的深刻理解：好比，你知道这个世界由三维空间构成，里面的物体能够移动、相撞、互动；人们可以行走、交谈、思考；动物能够觅食、飞翔、奔跑或吠叫；显示屏上能展示用语言编码的信息，好比天气状况、篮球竞赛的胜者，或1970年发生的事情。这样庞大的信息量就摆在那里，而且很大水平上容易获得——不论是在由原子组成的物理世界，还是由数字组成的虚拟世界。挑战在于，我们需要开发出能够分析并理解这些 海量数据 的模型和算法。生成模型是朝向这个目标迈进的最有希望的要领之一。要训练一个生成模型，我们首先会在某个领域收集大量的数据（想象一下，数以百万计的图片、文本或声音等），然后训练这个模型去创造类似的数据。这个方法的灵感来自于理查德·费曼的一句名言：”我所无法创造的，我也不能理解。（即：要真正理解一个事物，你需要去创造它）这个方法的妙处在于，我们使用的神经网络作为生成模型，其参数的数量远远少于训练它们的数据量，这强逼模型务必发现并有效地吸收数据的精髓，以便能够创造出新的数据。

　　Sora、Genie的本质是“世界模拟器”，让虚拟世界模仿现实物理世界的各种属性（重力、摩擦力、动能、光、声、电、材料、生物等等），在虚拟世界中操控物体动作，在仿真的物理条件下来做实验。

　　Sora此前发布视频中的金毛犬、吹蜡烛的老太太、冰川上的猛犸象等，都是Sora通过视频数据集来“理解”现实世界是怎样组成的、有啥物理规律、人类有怎样的表现，来模拟生成的。因此，Sora自行理解提炼的模拟世界中的规律也有可能不符合现实物理世界，好比老太太吹不灭蜡烛、人在跑步机上倒着走、篮球直接穿篮而过...。

　　世界模型的一个好处或许在于，人类可以把需要试错的部分放在虚拟世界中进行。

　　在谷歌发布的Genie之前，有很多视频生成模型在全球火爆。2023年12月底，Pika Labs推出Pika 1.0，生成视频长度在3秒左右，以单镜头为主。Runway视频模型于2023年2月发布，支持最多18s视频生成，镜头相对固定。2024年2月16日，全球明星AI创业公司OpenAI发布文生视频模型Sora，有精细的画质、多镜头拍摄、多角度运镜，对于真实人类世界的模拟度极高。