基于深度学习的Deepfake检测综述

深度学习 (DL) 已成为计算机迷信中最具影响力的畛域之一，间接影响着当今人类生存和社会。与历史上一切其他技术翻新一样，深度学习也被用于一些违法的行为。Deepfakes 就是这样一种深度学习运行，在过去的几年里曾经启动了数百项钻研，发明和提升各种经常使用 AI 的 Deepfake 检测，本文关键就是讨论如何对 Deepfake 启动检测。

为了应答Deepfake，曾经开收回了深度学习方法以及机器学习（非深度学习）方法来检测 。深度学习模型须要思考少量参数，因此须要少量数据来训练此类模型。这正是 DL 方法与非 DL 方法相比具备更高性能和准确结果的要素。

什么是 Deepfake 检测

大少数 Deepfake 生成器都会在 Deepfake 的环节中留下留下一些痕迹。Deepfake 视频中的这些变动可以归类为空间不分歧：视频的各个帧内出现的不兼容和期间不分歧：视频帧序列中出现的不兼容特色 。

空间不分歧包括面部区域与视频帧的背景不兼容、分辨率变动以及部分渲染的器官和皮肤纹理（或者不可正确渲染面部的一切人类特色）。大少数经常出现的 Deepfake 生成器不可渲染眨眼和牙齿等特色。并且有事会经常使用红色条带替代运动帧上肉眼甚至可以看到的牙齿 （下图）。

期间不分歧包括意外眨眼、头部姿态、面部举措以及视频帧序列中的亮度变动。

deepfake 生成器留下的空间和期间这些痕迹都可以经过由深度神经网络 (DNN) 制成的 deepfake 检测器来识别。咱们相熟的生成反抗网络(GANs)在deepfake 的生成器中的宽泛运行应战了造假检测和生成之间的平衡。

Deepfake检测

Deepfake 检测器是二元分类系统，可判别输入数字媒体是真还是假。Deepfake 检测不是由单个相似黑盒的模块口头的，而是由几个其他模块和步骤组成，它们独特作用以提供检测结果。Deepfake检测中的经常出现步骤如下[2]。

典型的基于 DL 的 Deepfake 检测器蕴含 3 个关键组件来口头上述义务。

接上去将具体解释关键步骤：数据预处置、特色提取和检测/分类环节。

数据预处置

在数据搜集阶段之后，数据应该在用于 Deepfake 检测的训练和测试步骤之行启动预处置。数据预处置是经常使用可用的库智能成功的，例如 OpenCV python 、MTCNN 和YOLO 等。

数据增强在提高练 Deepfake 检测器的性能中也起着至关关键的作用。可以运行诸如从新缩放（拉伸）、剪切映射、缩放增强、旋转、亮度变动和水平/垂直翻转等增强技术以参与数据集的泛化性 [3]。

数据预处置的第一步是从视频剪辑中提取单个帧。提取帧后须要从提取的视频帧中检测人脸。因为面部区域经常出现意外，因此仅选用面部区域有助于特色提取模型仅关注感兴味区域（ROI），从而节俭了用于全帧扫描的计算老本。一旦检测到面部区域，就会从帧的其他背景中裁剪它们，并依照一系列步骤使它们可用于模型训练和测试。裁剪面部区域的另一个要素是使模型的一切输入图像都具备相反的大小。

特色提取

上一步预处置的帧将会发送到特色提取器。大少数特色提取器都是基于卷积神经网络（CNN）的。最近的一些钻研证实了胶囊网络在特色提取环节中运行的有效性和效率的提高，这是一个新趋向。

特色提取器提取预处置视频帧上可用的空间特色。特色提取能够提取视觉特色、部分特色/面部标记，如眼睛、鼻子、嘴巴的位置、嘴形的灵活、眨眼等动物特色。而后将提取的特色向量发送到 分类器网络输入决策。

分类

用于分类的深度学习模型通常被称为Deepfake检测器的主干。望文生义，分类网络担任Deepfake检测管道中最关键的义务:即分类并确定输入视频能否是Deepfake的概率。大少数分类器都是二元分类器，其中Deepfakes输入为(0)，原始帧输入为(1)。

分类器又是另一个卷积层(CNN)或相似的深度学习架构，如LSTM或ViT。分类模型的实践配置依据经常使用的DNN而异。例如在特色提取器模块中提取的眨眼特色可以被分类模块中的LSTM模块经常使用，以确定帧眨眼形式的期间不分歧性，并据此判别输入能否是Deepfake[3]。在大少数状况下， Deepfake 检测器中最后一层为全衔接层。因为卷积层的输入示意数据的初级特色，这些输入被展平并衔接到单个输入层以发生最终决策。

总结

在过去的几年里，Deepfake 的创立和检测都出现了显着开展。与非深度学习方法相比，因为结果的准确性，经常使用深度学习技术启动 Deepfake 检测的相关钻研也有很大的提高。CNN、RNN、ViT 和胶囊网络等深度神经网络架构宽泛用于 Deepfake 检测器的成功。经常出现的 Deepfake 检测管道由数据预处置模块、基于 CNN 的特色提取器和分类模块组成。

此外，Deepfake 检测对 Deepfake 生成器在 Deepfake 上留下的痕迹有很大的依赖性。因为目前基于 GAN 的 Deepfake 生成器能够以最小的不分歧性分解更实在的 Deepfake，因此必定开发新的方法来提升 Deepfake 检测。基于深度集成学习技术的 Deepfake 检测方法可以被以为是反抗 Deepfake 的现代和综合方法 [4]。虽然如此，有效且高效的 Deepfake 检测器的空缺依然存在。