VideoCrafter视频生成和编辑工具箱

VideoCrafter 是一个用于制作视频内容的开源视频生成和编辑工具箱。

目前包括以下三种型号：

Base T2V：通用文本到视频生成

提供基于潜在视频扩散模型 (LVDM) 的基本文本到视频 (T2V) 生成模型，可以根据输入的文本描述合成逼真的视频。

"Campfire at night in a snowy forest with starry sky in the background."
“晚上在白雪皑皑的森林里篝火晚会，背景是星空。”

"Cars running on the highway at night."
“晚上在高速公路上行驶的汽车。”

VideoLoRA：使用 LoRA 生成个性化文本到视频

基于预训练的 LVDM，可以通过在一组描述特定概念的视频剪辑或图像上对其进行微调，来创建自己的视频生成模型。

以下是 VideoLoRA 模型的生成结果，这些模型在四种不同风格的视频剪辑上进行了训练。

通过提供描述视频内容的句子以及 LoRA 触发词（在 LoRA 训练期间指定），它可以生成具有所需风格（或主题/概念）的视频。

将 A monkey is playing a piano, ${trigger_word} 输入四个VideoLoRA模型的结果：

"Loving Vincent style" 

"frozenmovie style" “冰冻电影风格”

"MakotoShinkaiYourName style" “新海诚你的名字风格”

"coco style" “可可风格”

VideoControl：具有更多条件控制的视频生成

通过在 T2V 模型上插入一个轻量级的适配器模块，可以获得具有更详细的控制信号（如深度）的生成结果。

input text: Ironman is fighting against the enemy, big fire in the background, photorealistic, 4k