人工智能视频生成模型的数量不断增长，本周推出了一种新的模型Pyramid Flow，它可以提供长达 10 秒的高质量视频片段，速度快，而且全部开源。大部分镜头和用户感受都是 10 - 30s之间。加大投入干到稳定 30s
，超越 Sora，做到标杆。
Pyramid Flow 由北京大学、北京邮电大学和快手科技的研究人员合作开发，(后者是广受好评的专有 Kling AI 视频生成器的创造者 
)。它利用一种新技术，其中单个 AI 模型分阶段生成视频，其中大多数是低分辨率的，仅在生成过程结束时保存全分辨率版本。
代码已经开源：https://huggingface.co/rain1011/pyramid-flow-sd3，但需要用户在自己的机器上下载并运行模型代码进行推理。
介绍 Pyramid Flow 原理以及 Pyramid Flow 一些 case。 事实上，Pyramid Flow 现已可供下载和使用，甚至可用于商业 ，牛的。并且与 Runway 的 Gen-3 Alpha、Luma 的 Dream Machine、Kling 和 Haulio 等付费专有产品直接竞争，对于不限订阅的用户来说，这些产品每年可能要花费数百甚至数千美元。 这一步就给中小公司留下后路，虽然模型不怎么强，但重在免费。小公司很多需要体验用户，收费多模态扛不住成本。 随着各种 AI 视频提供商争夺用户的竞争持续进行，Pyramid Flow 旨在为寻求高级视频生成功能的开发人员、艺术家和创作者带来更高的效率和灵活性。官方 case
最前沿的扩散模型和自回归模型 在通过数据和计算的扩展生成逼真且持续时间长的视频方面，需要相当大的时空空间进行建模的必要性，这使得此类视频生成模型的训练在计算和数据上非常密集。 为了减轻生成高维视频数据的计算负担，一个关键部分是使用 VAE 将原始视频像素压缩到低维潜在空间 。然而，常规压缩率仍然会导致过多的 token，尤其是对于高分辨率样本。鉴于此，流行的方法采用级联架构将高分辨率生成过程分解为多个阶段，首先在高度压缩的潜在空间中创建样本，然后使用其他超分辨率模型依次进行上采样。 作者的方法提出了一种高效的视频生成建模框架，超越了以前级联方法的局限性。动机源于下图左边中的观察结果，即扩散模型中的初始时间步长非常嘈杂且信息量不大。这表明在整个生成轨迹中以全分辨率运行可能没有必要。
为此，作者将原始生成轨迹重新解释为一系列金字塔阶段，这些阶段对不同尺度的压缩表示进行操作，也就是下图右边。值得注意的是，图像金字塔已在判别神经网络中得到广泛验证。团队研究了两种类型的金字塔：帧内的空间金字塔和连续帧之间的时间金字塔。在这种金字塔生成轨迹中，只有最后阶段以全分辨率运行，大大减少了早期时间步长的冗余计算。 主要优点有两个：
- 不同金字塔阶段的生成轨迹是相互关联的，后续阶段继续从前一个阶段生成。这消除了某些级联模型中每个阶段都从纯噪声中再生的需要。理解上可以认为是全连接层
- 不再依赖于每个图像金字塔的单独模型，而是将它们集成为一个统一的模型进行端到端优化（简单说就是套数据源，不需要调整数据格式重新适配训练），实验证明这可以大大加快训练速度并提供更优雅的实现。
白话讲解上图 ：左边是现有的扩散模型以全分辨率运行，在非常嘈杂的潜在数据上花费大量计算。而右图是作者的方法，利用流匹配的灵活性在不同分辨率的潜在数据之间进行插值。这允许同时生成和解压缩视觉内容，并且具有更好的计算效率。其中，黑色箭头表示去噪轨迹，蓝色箭头表示时间条件。
Pyramidal Flow Matching
具体来说，为每个金字塔分辨率设计了一个分段流，它们共同构成了从噪声到数据的生成过程。每个金字塔阶段内的流程采用 flow 的公式，在像素化和噪声更大的潜在数据与无像素化和更干净的潜在数据之间进行插值。它们可以通过单个扩散变换器 (DiT) 中的统一流匹配目标进行联合优化，允许同时生成和解压缩视觉内容，而无需多个单独的模型。 在推理过程中，每个阶段的输出都会通过校正高斯噪声进行再噪声化，这有助于保持连续金字塔阶段之间概率路径的连续性。此外，以自回归的方式制定视频生成，用前面生成的历史为条件迭代地预测下一个视频条件。鉴于全分辨率历史中存在高冗余度，作者使用逐步压缩的低分辨率历史作为条件来策划时间金字塔序列，从而进一步减少标记数并提高训练效率。空间金字塔和时间金字塔的协作为视频生成带来了显著的训练效率。与常用的全序列扩散相比，团队的方法显著减少了训练过程中的视频 token 数量（例如，≤15,360 个 token 对比 10 秒 241 帧视频的 119,040 个 token），从而减少了所需的计算资源和训练时间。 确实牛了，这样推理速度快，难怪只要十几秒就能干一个短视频，用户体验也增加了。并发和压缩思想用得好。
空间复杂性
为了减轻空间内早期步骤中的冗余计算，团队在数据和压缩的低分辨率噪声之间插入流。让 ⊕ 表示不同分辨率的潜在值之间的插值，并设 K 分辨率，每个分辨率都将前一个分辨率减半，那么 flow 可以表示为：其中 Down 表示下采样，也就是前一个分辨率。
另外为了统一生成和解压缩超分辨率，需要通过在不同噪声水平和分辨率之间进行插值来制定概率路径。这种路径需要它从较低分辨率的噪声更大、像素化的潜在上采样开始，并在更高分辨率下产生更清晰、更细粒度的结果。
通过上面公式，可以得到如下图每个阶段从像素化和噪声的起点到无像素化和更清晰的结果。（从上往下，上采样的输入来自下采样 K+1）
时间复杂性
团队观察到全分辨率历史条件中存在高度冗余。例如，视频中较早的帧往往提供高级语义条件，与外观细节关系不大。这促使团队使用压缩的低分辨率历史进行自回归视频生成。
在每个金字塔阶段，生成都以压缩的低分辨率历史为条件，以提高自回归模型的训练效率，如每一行行所示。另外也设计了一种兼容的位置编码方案，该方案在空间金字塔中进行推理过程中进行内插值，以允许条件的空间对齐。
上面公式，在训练中向历史潜变量中添加小噪音，以减轻自回归生成的误差积累。每一个 x 就是带有噪声的图片。 文本生成视频生成：首先评估所提方法的文本生成视频生成能力。对于每个文本提示，生成一个 5 秒 121 帧的视频进行评估。总体而言，作者的方法超越了这两个基准中所有比较的开源视频生成基线。即使在训练中只使用可公开访问的视频数据，它也能达到与使用更大的专有数据如 Kling 和 Gen-3 Alpha 。 但是在 EvalCrafter 中进行评估时，作者的方法比大多数比较方法获得了更好的视觉和运动质量和语义得分相对较低，主要是因为使用了粗粒度的合成字幕。（这里可以看看 Meta 微调合成字幕的训练 Meta Movie Gen : Media 基础模型）
图像到视频生成：得益于模型的自回归特性和因果注意设计，每个视频的第一帧在训练期间的行为类似于图像条件。给定一个图像和一个文本提示，它能够通过自回归预测未来帧而无需进一步微调来为静态输入图像制作动画。在下图中，说明了其图像到视频生成性能的定性示例，其中每个示例由 120 个新合成的帧组成，持续时间为 5 秒。可以看出，模型成功预测了合理的后续运动，赋予图像丰富的时间动态信息。
Pyramid Flow 在MIT 许可下发布，允许广泛使用，包括商业应用、修改和重新分发，前提是保留版权声明。（ https://github.com/jy0205/Pyramid-Flow/blob/main/LICENSE）这使得 Pyramid Flow 成为希望将模型集成到专有系统中的开发人员和公司的一个有吸引力的选择，并且可能挑战 Luma AI 和 Runway，因为它们都希望为寻求将其专有 AI 视频生成技术集成到面向客户或员工的应用程序的开发人员提供付费应用程序编程接口。 虽然 Pyramid Flow 在 Hugging Face 上有一个演示推理，但它并不适合在其上构建完整的应用程序，用户需要托管自己的推理版本，这也可能是昂贵的，尽管模型本身是“免费的”。
说白了，你还是要买算力，自己本地部署也行。 使用 Pyramid Flow，狮门影业或其他任何电影制片厂都可以对开源版本进行微调，而无需向第三方公司付费。但是，他们仍然需要拥有或外包开发人员人才和计算资源，这可能使与 Runway 等知名 AI 提供商合作更具吸引力，因为该公司和其他类似公司已经拥有可供他们支配的 AI 工程人才。 Pyramidal Flow Matching 背后的研究团队也致力于开放性和可访问性。所有代码和模型权重都将通过其官方项目页面免费向公众开放，确保世界各地的研究人员和开发人员都能利用和借鉴这项工作。
目前，它为那些希望避免封闭式机型的成本和限制的人提供了一个可靠的替代方案，同时提供了与更商业化的同类产品相当的令人印象深刻的视频质量。在接下来的几个月里，开发人员和创作者可能会密切关注 Pyramid Flow 的发展。凭借进一步改进和优化的潜力，它很可能成为各地视频内容创作者的必备工具。目前，所有公司和研究人员都在争夺技术霸权和用户。与此同时， OpenAI 的 Sora 于 2024 年 2 月首次亮相，除了与少数早期 alpha 小型用户的合作外，仍然不见踪影 。
粤ICP备14082021号
免费POC，
零成本试错
