开源的 Sora 复现方案,成本降低近一半!
共 2362字,需浏览 5分钟
·
2024-04-11 07:00
近日,开发 ChatGPT 的 OpenAI 公司又放出王炸 Sora,一个可以根据文本生成视频的 AI 模型。
上图就是 OpenAI 公布的 Sora 生成的视频片段,可以毫不夸张地说 Sora 直接将视频生成技术推向了新的高度,这也标志着人工智能视频生成技术迈入了新的时代。此项技术,可以广泛应用于电影、动画、游戏、广告等领域,为内容创作者提供更加便捷、高效的创作工具。
虽然 Sora 没有开源,但我在 GitHub 上发现了 Colossal-AI 刚开源的完整 Sora 复现架构方案 Open-Sora,它提供了完整的 Sora 复现架构解决方案,包括从数据处理到训练、部署的全流程。Open-Sora 不仅可以降低 46% 复现成本,而且还将模型训练输入序列长度扩充至 819K patches(模型处理视频的最小单元)。
GitHub 地址:https://github.com/hpcaitech/Open-Sora
既然 Sora 没有开源,那这个复现方案从何而来呢?接下来,就让我们一起来看看已公布的 Sora 技术原理以及 Open-Sora 到底有没有真东西!
Sora 算法复现方案
![8b1a827fd082d00f1f9995eef1ecdf74.webp](https://filescdn.proginn.com/1bc7b007884d0dc114be3c45253c198c/8b1a827fd082d00f1f9995eef1ecdf74.webp)
与 Sora 视频一起发布的,还有一份 OpenAI 关于 Sora 的技术报告,在这份 Sora 的技术报告中,介绍了 Sora 是使用了一个视频压缩网络,将不同尺寸的视频压缩成一个隐空间(latent space)的时空块序列(temporal patch),然后使用了 Diffusion Transformer 进行去噪,最后进行解码生成视频。
![e001b83584f3ba9b8470541c18abe39a.webp](https://filescdn.proginn.com/241a17548bce4197718188203f9a6447/e001b83584f3ba9b8470541c18abe39a.webp)
根据上面描述的技术原理,Open-Sora 将 Sora 可能使用的训练流程归纳为下图。
![7161218026172f012456a4116969091b.webp](https://filescdn.proginn.com/1e770def4ea312decd0920793e911982/7161218026172f012456a4116969091b.webp)
综上所述,Open-Sora 作为 Sora 技术的复现框架,用 Python 实现了将原视频转化成通用型大模型能处理的最小单元 patches 的模块(patches 类似文本的 token),然后在去噪步骤提供了 3 种常见的多模态模型结构。
目前 Open-Sora 提供的功能,如下:
- 完整的 Sora 复现架构:包含从数据处理到训练推理全流程。
- 动态分辨率:训练时可直接训练任意分辨率的视频,无需进行缩放。
- 多种模型结构:由于 Sora 实际模型结构未知,我们实现了 adaLN-zero、cross attention、in-context conditioning(token concat)等 3 种常见的多模态模型结构。
- 多种视频压缩方法:用户可自行选择使用原始视频、VQVAE(视频原生的模型)、SD-VAE(图像原生的模型)进行训练。
- 多种并行训练优化:支持结合 Colossal-AI 的 AI 大模型系统优化能力,及 Ulysses 和 FastSeq 的混合序列并行。
众所周知,模型训练需要的资源是恐怖的,哪怕是 1% 的优化都可以节约极大的训练成本,而 Open-Sora 直接节省了近一半 46% 的复现成本,而且在模型训练输入方面更是将序列扩充至近百万。到底 Open-Sora 是如何做的性能优化,从而实现类 Sora 视频生成模型的低成本开发流程呢?跟着小编我们一探究竟。
性能优化
不同于 LLM 的大模型、大激活,Sora 类训练任务的特点是模型本体不大(如在 10B 以下),但是由于视频复杂性带来的序列长度特别长。
在此情况下,PyTorch 数据并行已无法运行,而传统的模型并行、零冗余数据并行带来的收益有限。因此,在支持 AMP(FP16/BF16)、Flash Attention、Gradient checkpointing、ZeRO-DP 等场景优化策略的基础上,Open-Sora 进一步引入两种不同的序列并行方法实现,可以 ZeRO 一起使用实现混合并行:
![5563e5db24b6247a2da676600f824379.webp](https://filescdn.proginn.com/344c2f4c3b02d5acda8d3b062152a65d/5563e5db24b6247a2da676600f824379.webp)
- 通用性较强的 Ulysses,对小规模或长序列表现可能更好。
- FastSeq 能将 qkv projection 的计算和 all-gather 通信重叠,只需多占用一点内存就可更进一步提升训练效率。
这两种序列并行方案,都可以轻松与 ZeRO2 共同使用来实现混合并行。
以在单台 H800 SXM 8*80GB GPU 上使用 DiT-XL/2
模型的性能测试为例。
![900e49a4ee06dd49b5996f79b81ec362.webp](https://filescdn.proginn.com/dcd84c71d762c0d4802b32eee9ebffe4/900e49a4ee06dd49b5996f79b81ec362.webp)
在 600K 的序列长度时,Open-Sora 的方案比基线方案有 40% 以上的性能提升和成本降低。
![3c205e3030d3b31ce7cf65fe8f17325f.webp](https://filescdn.proginn.com/bac4f424ae030c118b030a257cf9d6f6/3c205e3030d3b31ce7cf65fe8f17325f.webp)
在保证更快训练速度的情况下,Open-Sora 还能训练 30% 更长的序列,达到 819K+。
最后
在这个视频流行的时代,AI 生成视频技术成为了当下备受瞩目的热门技术之一,Sora 的出现更是引爆了这个领域。
今天介绍的 Open-Sora 才刚刚开源,并未提供训练好的类 Sora 模型,还不能直接拿来生成视频。但它提供了一套经过优化后的类 Sora 视频生成模型低成本开发框架,为视频生成提供方便易用、成本低廉、质量可靠的开源解决方案。更多的技术细节,篇幅问题这里就不展开了,如果你对 Open-Sora 感兴趣,可深入了解下它的源码(Python)或者参与贡献代码,复现 Sora 赶超 Sora!
GitHub 地址:https://github.com/hpcaitech/Open-Sora
- END -
👆 关注「HelloGitHub」第一时间收到更新 👆