字节豆包大模型团队系统性钻研揭秘 LeCun赞转！类Sora模型能否了解物理法令

视频生成模型虽然可以生成一些看似合乎知识的视频，但被证明目前还不可了解物理法令！

自从 Sora 横空入世，业界便掀起了一场「视频生成模型究竟懂疑问物理法令」的争执。图灵奖得主 Yann LeCun 明白示意，基于文本提醒生成的真切视频并不代表模型真歪了解了物理环球。之后更是直言，像 Sora 这样经过生成像历来建模环球的方式注定要失败。

Keras 之父 François Chollet 则以为，Sora 这样的视频生成模型确实嵌入了「物理模型」，但疑问是：这个物理模型能否准确？它能否泛化到新的状况，即那些不只仅是训练数据插值的情景？这些疑问至关关键，选择了生成图像的运行范畴 —— 是仅限于媒体消费，还是可以用作事实环球的牢靠模拟。最后他指出，不能便捷地经过拟合少量数据来希冀获取一个能够泛化到事实环球一切或者状况的模型。

尔后，关于视频生成模型究竟有没有在学习、了解物理法令，业界一直没有一个定论。直到近日，字节豆包大模型团队发布的一项系统性钻研，为两者之间的相关「划上了不等号」。

该团队经过大规模实验发现 —— 即使依照 Scaling Law 扩展模型参数与训练数据量，模型依然不可形象出普通物理规定，甚至连牛顿第必定律、抛物线静止都不可体会 。

「视频生成模型目前就像一个只会『抄作业』的在校生，可以记忆案例，但还不可真歪了解物理法令，做到『举一反三』。因此，模型遇到未学习过的场景就会『犯迷糊』，生成结果与物理规定不符。」钻研作者示意。

相关推文在 X 发布后，取得 Yann LeCun 点赞转发，还评价道 —— 结果虽不异常，但有人尝试钻研确实是一件善报。

此外，CV 大牛谢赛宁和终年生动的 Gary Marcus 等人也纷繁跟进关注。

Sora 的环球里，物理学存在么？

此前 Sora 发布时，OpenAI 就在其宣传页面写道：咱们的成绩提醒了 —— 优化视频生成模型参数与数据量，为构建物理环球通用模拟器，提供了一条可行之路。

给人宿愿的同时，业内质疑声川流不息，很多人并不以为基于 DiT 架构的视频生成模型能够真歪了解物理法令。其中尤以 LeCun 为代表，不时以来，这位人工默认巨头不时坚称，基于概率的大言语模型不可了解知识，其中包括事实物理法令。

虽然大家七嘴八舌，但市面上，系统性针对该疑问的钻研不时寥寥。出于对这一课题的猎奇，字节豆包大模型相关团队于 2024 年终启动了这一钻研立项，并历经 8 个月终于成功系统性实验。

在本次上班中，如何定量剖析视频生成模型关于物理法令的了解，是一大应战。

豆包大模型团队经过专门开发的物理引擎分解了匀速间接静止、小球碰撞、抛物线静止等经典物理场景的静止视频，用于训练基于干流 DiT 架构的视频生成模型。而后，经过测验模型后续生成的视频在静止和碰撞方面能否合乎力学定律，判别模型能否真歪了解了物理法令，并具备「环球模型」的后劲。

针对视频生成模型在学习物理定律时的泛化才干，团队讨论了上方三种场景的表现：

在基于视频的观察中，每一帧代表一个期间点，物理定律的预测则对应于依据过去和如今的帧生成未来的帧。因此，团队在每个实验中都训练一个 基于帧条件的视频生成模型 ，来模拟和预测物理现象的演化。

经过测量生成视频每个帧（期间点）中物体位置变动，可判别其静止形态，进而与实在模拟的视频数据比对，判别生成内容能否合乎经典物理学的方程表白。

实验设计方面，团队聚焦于由基本静止学方程摆布确实定性义务。这些义务能明晰定义散布内 (ID) 和散布外 (OOD) 泛化，并且能够启动直观的误差量化评价。

团队选用了以下三种物理场景启动评价，每种静止由其初始帧选择：

针对组合泛化场景，团队经常使用 PHYRE 模拟器评价模型的组合泛化才干。PHYRE 是一个二维模拟环境，其中包括球、罐子、杆子和墙壁等多个对象，它们可以是固定或灵活的，且能启动碰撞、抛物线轨迹、旋转等复杂物理交互，但环境中的底层物理法令是确定性的。

视频数据结构方面，每一个视频思考了八种物体，包括两个灵活灰色球、一组固定的彩色球、一个固定的彩色条形、一个灵活条形、一组灵活立式条形、一个灵活罐子和一个灵活立式棍子。

每个义务蕴含一个白色球和从这八种类型中随机选用的四个物体，总共构成 种共同的模板。数据示例如下：

关于每个训练模板，团队保管了一小部分视频用于创立模板内测试集（in-template evaluation set），再保管 10 个未经常使用的模板，用于模板外测试集（out-of-template evaluation set），以评价模型对训练时未见过的新组合的泛化才干。

豆包大模型团队的实验发现，即使遵照「Scaling Law」增大模型参数规模和数据量，模型依然不可形象出普通物理规定，做到真正「了解」。

以最便捷的匀速直线静止为例，当模型学习了不同速度下小球坚持匀速直线静止的训练数据后，给定初始几帧，要求模型生成小球在训练集速度区间内匀速直线静止的视频，随着模型参数和训练数据量的参与，生成的视频逐渐更合乎物理法令。

但是，当要求模型生成不曾见过的速度区间（即超出训练数据范畴）的静止视频时，模型突然不再遵照物理法令，并且无论如何参与模型参数或训练数据，生成的结果都没有清楚改良。这标明，视频生成模型不可真歪了解物理法令，也不可将这些法令泛化运行到全新的场景中。

不过，钻研中也有一个好信息：假设训练视频中一切概念和物体都是模型已相熟的，此时放大训练视频的复杂度，比如组合参与物体间的物理交互，经过放大训练数据，模型对物理法令的遵照将越来越好。这一结果可为视频生成模型继续优化表现提供启示。

详细而言，在散布内泛化（ID）的测试中，团队观察到，随着模型规模增大（从 DiT-S 到 DiT-L）或训练数据量的参与（从 30K 到 3M），模型在一切三种物理义务中的速度误差都降低。 这标明，模型规模和数据量的参与对散布内泛化至关关键。

但是，散布外泛化（OOD）与散布内泛化（ID）结果构成显明对比：

至于组合泛化场景，从下表可看到，当模板数量从 6 个参与到 60 个时，一切度量目的（FVD、SSIM、PSNR、LPIPS）在 模版外测试集 上均清楚的优化。尤其是异常率（生成视频违反物理定律的比例），从 67% 大幅降低至 10%。这标明， 当训练集笼罩了更多组合场景时，模型能够在未见过的组合中展现出更强的泛化才干 。

但是，关于模板内测试集，模型在 6 个模板的训练集上的 SSIM、PSNR 和 LPIPS 等目的上表现最佳，由于每个训练示例被重复展现。

这些结果标明，模型容量和组合空间的笼罩范畴对组合泛化至关关键。这象征着， 视频生成的 Scaling Law 应当并重于参与组合多样性，而不只仅是扩展数据量 。

图注：在模版外测试集上生成的样本视频。第一行：实在视频。第二行：经常使用 60 个模板训练的模型生成的视频。第三行：经常使用 30 个模板训练的模型生成的视频。第四行：经常使用 6 个模板训练的模型生成的视频。

机理探求：模型如何依赖记忆和案例模拟

前文提及，视频生成模型关于散布外泛化表现不佳，但在组合场景下，数据和模型 Scaling 可带来必定优化，这终究来自于案例学习，还是对底层法令的形象了解？团队着手启动了相关实验。

经常使用匀速静止视频启动训练，速度范畴为 v∈[2.5, 4.0]，并经常使用前 3 帧作为输入条件。咱们经常使用两个数据集训练，再对照结果，Set-1 只蕴含从左到右移动的球，而 Set-2 则蕴含从左到右移动的球和从右到左移动的球。

如下图所示，给定启动低速正向（从左到右）静止的帧条件，Set-1 模型生成视频只要正速度，且倾向高速范畴。相比之下，Set-2 模型偶然会生成负速度的视频，正如图中绿色圆圈所示。

面对两者之间的区别，团队猜想，这或者是由于模型以为，与低速度球更凑近的是训练数据中反方向静止的小球，造成模型遭到训练数据中「误导性」示例影响。换而言之， 模型仿佛更多依赖于记忆和案例模拟，而非形象出普遍的物理规定，成功散布外泛化（OOD） 。

在前文，咱们已探求获知 —— 模型更多依赖记忆和相似案例启动模拟并生成视频，更进一步，则须剖析哪些属性对其模拟影响较大。

在比对色彩、外形、大小和速度四个属性后，团队发现， 基于分散技术的的视频生成模型天生更倾向其余属性而非外形，这也或者解释了为什么的放开集视频生成模型通常在外形坚持上存在艰巨 。

如下图，第一行是实在视频，第二行是视频模型生成的内容，色彩很好的坚持了分歧，但其外形难以坚持。

两两对比后，团队发现 视频生成模型更习气于经过「色彩」寻觅相似参考生成物体静止形态，其次是大小，再次是速度，最后才是外形 。色彩 / 大小 / 速度对外形的影响状况如下图：

最后，关于复杂的组合泛化为何能够出现，团队提出视频模型具备三种基本的组合形式，区分为： 属性组合、空间组合 （多个物体不同静止形态）、 期间组合 （不同的期间点多个物体的不同形态）。

实验结果发现，关于速度与大小或色彩与大小等属性对，模型展现出必定水平的组合泛化才干。同时，如下图所示，模型能够经过对训练数据的部分片段启动期间 / 空间维度的再组合。

但是值得留意的是，并不是一切的状况下都能经过组合泛化生成遵照物理法令的视频。模型对案例婚配的依赖限度了其效果。在不了解底层规定的状况下，模型检索并组合片段，或者会生成不合乎事实的结果。

最后，团队探求了在视频表征空间启动生成能否足以作为环球模型，结果发现，视觉含糊性会造成在细粒度物理建模方面出现清楚的误差。

例如下图，当物体尺寸差异仅在像素级别时，单纯经过视觉判别一个球能否能经过间隙变得十分艰巨，这或者造成看似正当但实践上失误的结果。

图注：第一行是实在视频，第二行为模型生成的视频。

这些发现标明，单纯依赖视频示意无余以启动准确的物理建模

该论文外围作者有两位，其中之一为豆包大模型团队 95 后钻研员 Bingyi Kang，此前他担任的钻研名目 Depth Anything 雷同取得了业界的宽泛关注，并被支出苹果 CoreML 库中。

据 Bingyi 分享，环球模型概念早已被提出，自 AlphaGo 降生时，「环球模型」 一词已在业内传开，Sora 爆火后，他选择先从视频生成模型能否真歪了解物理法令入手，一步步揭开环球模型机理。

这当中有三周围期间，名目毫无停顿，直到一次性实验，大家留意到一个很隐蔽的反惯例现象，借此设计对比实验后，他们确认了「模型其实不是在总结法令，而是在婚配跟他最凑近的样本」。

「做 research 往往不是说，你突然有个很好的 idea，而后你一试它就 work 了，很多时刻你都是在排错。但经过一段期间的试错，你很或者突然发现某一个方向有解了。」Bingyi 示意。

虽然钻研耗时 8 个月，每天对着视频中的虚构小球做定量实验，但大家更多感遭到的不是单调，而是「好玩」和「烧脑」，回想这段，他感叹：「团队对基础钻研给了充沛的探求空间。」

另一位 00 后同窗也是外围介入者之一，据他分享，本次钻研是他教训过的最具应战性、最耗时的名目，触及对物理引擎、评测系统、实验方法的构建，十分繁琐，当中还有好几次名目「卡顿」住。不过，团队担任人和 Mentor 都给予了耐烦和激励，「没人催连忙把名目做完」。