DiffBIR利用 Generative Diffusion Prior 实现模糊图像修复

DiffBIR 可利用预训练的文本到图像扩散模型来解决模糊图像恢复问题。

框架采用 two-stage pipeline。在第一阶段，预训练跨多种退化的恢复模块，以提高现实场景中的泛化能力。第二阶段利用潜在扩散模型的生成能力，实现逼真的图像恢复。具体来说，引入了一个用于微调的单射调制子网络——LAControlNet，而预训练的Stable Diffusion是为了保持其生成能力。

最后引入了一个可控模块，通过在推理过程中的去噪过程中引入潜在图像引导，允许用户平衡质量和保真度。

架构：

Results