Sora 群雄为战，突然翻车被爆笑

最近，Sora 各种不符合现实的图出圈了，惹网友爆笑。LeCun、DeepMind 大佬、马斯克都纷纷下场了，而一位动画师表示，自己完全不担心被 Sora 淘汰。大火的 Sora，让许多动画、影视行业的人大为恐慌。

网上广为流传的这张图，让大家倒是放心了不少。可以看到，在这个视频中，玻璃杯碎裂的方式十分诡异 —— 它被抬到半空中时，桌子上就忽然出现了一滩平整的红色玻璃，随后玻璃杯被摔到桌子上，和这滩玻璃融为一体。

为什么 Sora 做出的视频是这样的呢？很显然，Sora 混淆了玻璃破碎和液体溢出的顺序，也并不能推理时间和因果关系。而这也说明，Sora 目前还无法理解物理世界！

再比如，Sora 团队 Aditya Ramesh 自豪地放出的这个视频，「蚂蚁巢穴内爬行的 POV 镜头」，粗看似乎很惊艳，仔细一看，却令人啼笑皆非 —— 蚂蚁怎么只有四条腿？！

Sora 这「人工智障」的表现，也让大家着实松了一口气。

虽说确实生成一些足够惊艳的视频，但 Sora 离「扔进一部小说，生成一部电影」，应该还差得远呢。

Sora 不懂人类的物理世界？AI 专家混战

LeCun 和马库斯这对「宿敌」，这次却站在了统一战线上，齐喷 Sora 所谓的「物理引擎」。LeCun 留言表示：嗨，Aditya，蚂蚁有 6 条腿，不是吗？

马库斯也表示，Sora 会造成可怕的后果 ——「我们即将有整整一代儿童接受虚假视频的教育，这些视频对于天真的观众是完全合理的，然而在生物学上却错误百出。」

今天它弄错的可能是一只蚂蚁，明天就是月球的轨道。诈骗犯会做出许多虚假视频，普通用户会被蒙蔽，再也不知道什么是真实，什么是虚假。

对于玻璃杯错误摔碎的视频，马库斯表示这是一个绝妙的例子。

我们需要认识到，并非 Sora 生成的所有视频都来自其训练集。Sora 也并不总是遵循物理学、生物学和文化的规律。我最近讨论的 7*7 棋盘、4 条腿的蚂蚁，和碎裂的杯子一样，都证明了 Sora 是一个鲁莽的野兽，而非迭代的、基于定律的物理引擎。OpenAI 所引以为傲的对象的一致性，在这些 demo 中都没有成功。因为模型在训练数据中从未见过，从未被物理引擎产生过。其实，Sora 只是泛化了像素的模式，而并非世界上物体的模式。

对此，英伟达高级研究科学家 Jim Fan 表示，我们可以从两个角度来解释这个问题：

（1）可能是因为这个模型根本没有掌握物理知识，它仅仅是在无序地拼凑图像像素；

（2）模型确实尝试构建了一个内部的物理引擎，但这个引擎的表现还不尽人意。就像是第一代虚幻引擎在处理流体动力学和物体变形等问题上，与 V5 相比有着明显的不足。同样地，V1 的渲染效果也远不如 V5，并且缺乏物理上的准确性。

Sora「世界模型雏形」陷入重重争议

其实，Sora 初一面世，OpenAI 声称「扩展视频生成模型是构建物理世界通用模拟器的一条可行之路」的说法，就得到了诸多专家的质疑。

前谷歌、Facebook 技术主管 Hongcheng 表示 ——

「模型不大可能通过被动看训练数据视频，就能掌握物理定律。」

再聪明的智能体，也不大可能通过看太阳东升西落的视频，就能悟出地球围着太阳转。人类看了几千年苹果掉到地上，也是直到牛顿的时代才发现了引力。

多位业内人士表示，说 Sora 是数据驱动的物理引擎的说法很愚蠢。

它的荒谬性，就好比我们收集了行星运动的数据，输入到模型中，模型预测出行星位置，就说这个模型在内部复现了广义相对论一样。

像 Sora 这样的 Diffusion Transformer，底层是基于机器学习的随机梯度下降加上反向传播。

这就意味着：Sora 并没有逻辑推理能力！

Sora 的技术并不新，核心架构已有设计

此外，还有很多大佬表示，Sora 的技术其实并不新。

LeCun 转发了华人学者谢赛宁的推文，认为 Sora 基本上是基于谢赛宁等人在去年被 ICCV 2023 收录的论文提出的框架设计而成的。

而和谢赛宁一起合著这篇论文的 William Peebles 之后也加入了 OpenAI，领导了开发 Sora 的技术团队。

时空 patch，是 Sora 创新的核心。

它建立在 Google DeepMind 早期对 NaViT 和 ViT（视觉 Transformer）的研究之上。而这项研究，又是基于一篇 2021 年的论文「An Image is Worth 16x16 Words」。

这其中 Sora 所做的，就是把 Diffusion 和 Transformer 架构结合在一起，创建了 diffusion transformer 模型。

马毅教授也表示，Sora 与之前不同的地方，就是用 Transformer 实现了 diffusion 和 denosing。

而这其实就是马毅团队去年在 NeurIPS White-box Transformer 论文所预示和证明了的 ——

假设数据分布是 mixed Gaussians，那 Transformer blocks 就是在实现 diffusion / 扩散和 denoising / 压缩 。

不过，当时团队苦于没有足够的数据和算力，无法在 diffusion model 上验证，只能在 Masked VAE，DINO，BERT，以及 GPT-2 上做了验证。

而这次 Sora 的发布更加证明了，在相同条件下，白盒的 Transformer CRATE 构架在性能上已经能超越传统的 Transformer，而且完全可解释和更加可控，因此会提升视频和文本的生成技术。

动画师：Sora 距离替代人类，还早呢

无独有偶，一位动画师也表示，自己完全没有对 Sora 感到害怕。他的理由是，因为动画制作需要反复修改，尤其是面对客户的需求时。

面对反复的修改要求，人类动画师是能轻松应对的，而 AI 则很可能选择重新出一幅作品。哪位客户会喜欢这种方式呢？

因此，目前 AI 无法给客户又完整又高质量的作品。可能很多人觉得，过于关注细节是吹毛求疵，但客户要的就是吹毛求疵。对于他们珍爱的 IP 或作品，他们可不希望每次修改都伴随着角色、设计、构图、背景的大改动。所以，目前 Sora 还端不了谁的饭碗，除了展现一下 AI 的潜能外，实际的应用价值并不大。