AIGC全新综述！多模态疏导的基于文生图大模型的图像编辑综述

前言：

提出处置普通性编辑义务的一致框架！近期，复旦大学FVL试验室和南洋理工大学的钻研人员关于多模态疏导的基于文生图大模型的图像编辑算法启动了总结和回忆。综述涵盖300多篇相关钻研，调研的最新模型截止至往年6月！该综述拓展了关于控制条件（人造言语，图像，用户接口）和编辑义务的讨论 （物体/属性操作、空间变换、inpainting、格调转换、图像翻译，主体/属性客制化），以从降级鲜和更普通性的角度片面的讨论编辑方法。此外，该综述提出的一致框架将编辑环节示意为不同算法族的组合，并经过片面的定性和定量试验来说明各种组合的特性以及顺应场景。该框架提供了友好的设计空间以满足用户不同的需求，并为钻研者们提供了必定的参考以开发新的算法。

摘要：

图像编辑旨在依据用户的特定需求编辑给定的分解或实在图像。作为人工智能生成内容（AIGC）畛域中一个有前景且具备应战性的畛域，图像编辑获取了宽泛钻研。近期，大规模文生图（T2I）分散模型驱动了图像编辑技术的开展。这些模型依据文本揭示生成图像，展现了惊人的生成才干，已成为图像编辑的罕用工具。基于T2I的图像编辑方法清楚优化了编辑性能，为用户提供了经常使用多模态条件疏导启动内容修正的接口。咱们对基于T2I分散模型的多模态疏导下的图像编辑技术启动了片面回忆。首先，咱们从更普通性的角度定义了图像编辑义务的范围，并详细形容了各种控制信号和编辑场景。而后，咱们提出了一个一致框架来方式化编辑环节，将其示意为两个算法族的组合。这个框架为用户提供了一个设计空间，以成功特定指标。接着，咱们对该框架内的每个组件启动了深化剖析，钻研了不同组合的特性和实用场景。因为基于训练的方法间接学习将源图像映射到指标图像，咱们对这些方法启动了独自讨论，并引见了不同场景下源图像的注入打算。此外，咱们也回忆了2D技术在视频编辑中的运行，重点引见了处置帧间不分歧性的疑问。最后，咱们也讨论了该畛域的放开性应战，并提出了潜在的未来钻研方向。

论文和开源仓库的地址：

宣布单位：复旦大学FVL试验室，南洋理工大学

1．钻研动机

1.1，在事实生存中，人们关于可控的、高品质的智能化图像编辑工具的需求日益参与，因此有必要系统地总结与对比下这个方向的方法与技术特点。

1.2，的编辑算法与相关的综述都将编辑场景局限于保管图像中的大局部与编辑有关的低级语义消息，为此要必要裁减编辑义务的范围，从更具备普通性的视角讨论编辑义务。

1.3，因为需求和场景具备多样性，有必要将编辑环节方式化为一个一致框架，并为用户提供一个设计空间来顺应不同的编辑指标。

2．这篇综述的特征，以及与的编辑综述有什么区别？

2.1 关于编辑义务的定义与讨论范围。相比于现有的算法以及先人的编辑综述，本文关于图像编辑义务的定义愈加宽泛。详细的，本文将编辑义务分为content-aware 和content-free场景组。其中content-aware组内的场景为之前的文献所讨论的关键义务，它们的特性是保管图像中的一些低级语义特征，如编辑有关区域的像素内容，或图像结构。此外，咱们开创性地将客制化义务（customization）归入到content-free场景组中，将这一类保管初级语义（如主体身份消息，或许其余细粒度属性）的义务作为对惯例的编辑场景的补充。

图1. Survey讨论的各种编辑场景

2.2 普通性编辑算法的一致框架。因为编辑场景的多样性，现有的算法不可很好的处置一切的需求。因咱们将现有的编辑环节方式化为一个一致的框架，将其示意为两个算法族的组合。此外咱们也经过定性和定量试验剖析了不同组合的特性与顺应场景，为用户提供了一个良好的设计空间以顺应不同的编辑指标。同时，该框架也为钻研者们提供了一个较好的参考，以设计出性能更优的算法。

2.3 讨论的片面性。咱们调研了300多篇的相关论文，系统且片面地论述了各种模态的控制信号在不同场景下的运行。关于基于训练的编辑方法，本文也提供了在各种场景下源图像注入到T2I模型的战略。此外，咱们也讨论了图像编辑技术在视频畛域的运行，使得读者能够极速的了解不同畛域间编辑算法的咨询。

3．普通性编辑算法的一致框架：

图2. 普通性编辑算法的一致框架

框架蕴含了两个算法族Inversion算法

编码到特定的特征或参数空间，获取对应的表征 （inversion clue），并用对应的源文本形容 作为源图像的标识符。包括tuning-based 两种类型的inversion算法。其可以被方式化为：

经过原有的diffusion训练环节将源图像汇合植入到分散模型的生成散布中。方式化环节为：

为引入的可学习的参数，且

用于在分散模型的反向环节中（ ）恢复某一条前向门路中的噪声（

为方法中引入的参数，用于最小化

来生成最终的编辑结果 的editing算法。其可以被方式化为：

特意地，关于每一步的反向环节，

中的操作示意编辑算法关于分散模型采样环节 的干预，用于保障编辑后的图像 中疏导条件所指明的视觉变换。

特意地，咱们将无干预的编辑环节环节视作为普通版本的编辑算法

3.3 Training-Based 的编辑方法。与training-free的方法不同的是，training-based算法经过在义务特定的数据集中间接学习源图像汇合到编辑图像的映射。这一类算法可以看作是tuning-based inversion的裁减，即经过额外引入的参数将源图像编码到生成散布中。在这类算法中，最关键的是如何将源图像注入到T2I模型中，以下是针对不同编辑场景的注入打算。

4. 一致框架在多模态编辑义务中的运行

本文经过定性试验说明了各个组合在多模态编辑义务中的运行：

详细的剖析请查阅原始论文。

5．不同组合在文本疏导的编辑场景下的比拟

关于经常出现的文本疏导的编辑义务，本文经过设计了多个具备应战性的定性试验，以说明不同组合所适宜的编辑场景。此外，本文也相应地搜集了高品质和具备必定难度的数据集，以定量地说明各种组合中的先进算法在不同场景下的性能。

关于 content-aware义务，咱们关键思考对象操作（增/删/交流），属性扭转，格调迁徙。特意地，咱们思考了具备应战性的试验设置：1.多指标编辑。2.关于图像的语义规划影响较大的用例。咱们也搜集了这些复杂场景的高品质图片，并对不同组合中的先进算法启动片面的定量地比拟。

图8.Content-aware义务中各个组合的定性比拟，从左至右区分是

关于结果的剖析以及更多的试验结果请查阅原始论文。

关于 content-free义务，咱们关键思考基于主体驱动的（subject-driven）客制化义务。并思考了多种场景，如改换背景，与物体的交互，行为的扭转，以及格调的扭转。咱们也定义了少量的文本疏导模板，对以各个方法的全体性能启动定量剖析。

图9. Content-free义务中各个组合的定性比拟，从左至右区分是

关于结果的剖析以及更多的试验结果请查阅原始论文。

6．未来可以启动的方向：

此外本文也给出了一些未来的或许一些钻研方向剖析。这里给出content-aware 义务和content-free 义务的应战作为例子。

6.1. Content-aware 义务的应战。关于content-aware 编辑义务的应战，现有方法不可同时处置多种编辑场景和控制信号。这一限度迫使运行在不同义务之间切换适宜的后端算法。此外，一些初级方法在易用性方面不友好。某些方法须要用户调整关键参数以取得最佳结果，而其余办规律须要繁琐的输入，例如源和指标揭示，或辅佐掩码。

6.2，Content-free 义务的应战。关于content-free 编辑义务，现有方法在测试时调优环节简短且存在过拟合疑问 。一些钻研旨在经过优化大批参数或从头开局训练模型来缓解这一疑问。但是，它们经常会失落特性化主体的细节，或体现出较差的泛化才干。此外，以前方法在从大批图像中提取形象概念方面也有所无余，它们不可齐全将所需概念与其余视觉元素分分开来。

更多的钻研方向内容可以查阅原始论文。