Sora最近很火爆，AI视频生成让行业内发生了很大变动，对于Sora已经有不少业内的大佬开始激烈探讨，想要了解Sora到底懂不懂物理世界，那么大家可以看看下方游戏鸟小编带来的最新资讯，方便大家更好的了解哦。

Sora到底懂不懂物理世界

Sora 到底是不是物理引擎甚至世界模型?图灵奖得主 Yann LeCun、Keras 之父 Francois Chollet 等人正在深入探讨。

最近几天，OpenAI 发布的视频生成模型 Sora 成了全世界关注的焦点。

【关注机器之心视频号，第一时间看到有趣的 AI 内容】

和以往只能生成几秒钟视频的模型不同，Sora 把生成视频的长度一下子拉长到 60 秒。而且，它不仅能了解用户在 Prompt 中提出的要求，还能 get 到人、物在物理世界中的存在方式。

以经典的「海盗船在咖啡杯中缠斗」为例。为了让生成效果看起来逼真，Sora 需要克服以下几个物理难点：

规模和比例的适应：将海盗船缩小到能够在咖啡杯中缠斗的尺寸，同时保持它们的细节和结构，是一个挑战。AI 需要理解和调整这些对象在现实生活中的相对尺寸，使得场景在视觉上显得合理;

流体动力学：咖啡杯中的液体会对海盗船的运动产生影响。AI 模型需要模拟液体动力学的效果，包括波浪、溅水和船只移动时液体的流动，这在计算上是复杂的;

光线和阴影的处理：为了使场景看起来真实，AI 需要精确地模拟光线如何照射在这个小型场景中，包括咖啡的反光、船只的阴影，以及可能的透光效果;

动画和运动的真实性：海盗船的运动需要符合真实世界的物理规律，即使它们被缩小到咖啡杯中。这意味着 AI 需要考虑到重力、浮力、碰撞以及船体结构在动态环境中的行为。

虽然生成效果还有些瑕疵，但我们能明显感觉到，Sora 似乎是懂一些「物理」的。英伟达高级研究科学家 Jim Fan 甚至断言，「Sora 是一个数据驱动的物理引擎」，「是一个可学习的模拟器，或『世界模型』」。

部分研究者同意这样的观点，但也有不少人反对。

Yann LeCun：生成视频的过程与基于世界模型的因果预测完全不同

图灵奖得主 Yann LeCun 率先亮明观点。在他看来，仅仅根据 prompt 生成逼真视频并不能代表一个模型理解了物理世界，生成视频的过程与基于世界模型的因果预测完全不同。

他接着讲到，模型生成逼真视频的空间非常大，视频生成系统只需要产生一个合理的示例就算成功。不过对于一个真实视频而言，其合理的后续延续空间却非常小，生成这些延续的代表性片段，特别是在特定行动条件下，任务难度更大。此外生成视频的后续内容不仅成本高昂，实际上也毫无意义。

因此，Yann LeCun 认为，更理想的做法是生成视频后续内容的抽象表达，并消除与我们可能所采取动作无关的场景中的细节。

当然，他借此又 PR 了一波 JEPA(Joint Embedding Predictive Architecture，联合嵌入预测架构)，认为上述做法正是它的核心思想。JEPA 不是生成式的，而是在表示空间中进行预测。与重建像素的生成式架构(如变分自编码器)、掩码自编码器、去噪自编码器相比，联合嵌入架构(如 Meta 前几天推出的 AI 视频模型 V-JEPA)可以产生更优秀的视觉输入表达。

[1] [2] [3] [4] [5] [6] [7] 下一页 在本页阅读全文