火眼金睛的 高达99.5%准确率 面前技术大揭秘 鉴黄系统

悟空鉴黄系统在京东上线已一年多，在京东云上提供接口也有数月，同时服务于京东主图、晒单图及京东私有云网站的图片审核，并向外部提供通用鉴黄配置。

其中通用鉴黄算法在大于 99.5% 准确率下，可以节俭 90%以上的审核人工。主图和晒单图每日调用量超越千万次，京东云相关每日调用量到达了数百万次。

本篇将解说鉴黄疑问的特点和难点，并为大家揭秘悟空鉴黄系统面前的技术。

图像分类是计算机视觉中的基础义务之一，悟空鉴黄系统面前的算法处置的就是一个分类疑问， 判别待审核的图像中蕴含的物体/内容属于哪一类：

图1：鉴黄算法流程表示

注：这里的“性感”和形容女神男神时的“性感”含意并不齐全重合。

01鉴黄疑问自身特有的难点

虽然看下来是个便捷的三分类疑问，然而和经常出现的 MNIST/CIFAR/ImageNet 等分类义务不同， 鉴黄疑问有自身特有的难点：

多标签数据

和 ImageNet 等单标签数据集不同，鉴黄模型面对的图片没有特定类型，画面中蕴含的物体也没有限度。

比如衣着暴露的人和全袒露点的人物同时出如今画面内，输入的最终结果不能是色情+性感，而是判定为色情图片。也就是说是个带优先级的分类义务：色情>性感>其余。

非符号化(Non-iconic)图像

在 ImageNet/CIFAR等数据集中，图像内容往往是比拟明白的，比如下图中第一行的狗和人物肖像，图像信息明白，主题占比通常较大。而鉴黄义务中，面向的是实在场景中的图像，蕴含少量的非符号化数据，比如下图中第二行的例子。

在这种图像中，哪怕是画面中不引人留意的位置上，很小的一部分画面出现了色情信息，也须要被判别为色情图片。

图2：Iconic 和 Non-iconic 图片表示

数据不凡性

鉴黄义务中，色情和性感图片在像素空间占据的只是很小的区域，其余类别占据了绝大部分像素空间。而在模型中，咱们则是希冀模型学习到的特色重要是和色情和性感图片相关的特色。

在用于分类的特色空间中，由于其余类别图片种类十分丰盛，所以和色情/性感类别的分类边界是难以捉摸的，另一方面色情/性感类别图片由于经常很相似，所以分类边界的求解十分有难度。

针对鉴黄疑问的特点和难点，咱们启动了一系列技术上的尝试和探求，上方为大家逐一道来。

在，卷积神经网络(Convolutional Neural Network，CNN)曾经成为简直一切图像分类义务的标配。

早在 1989 年，Yann LeCun 就发明了卷积神经网络，并且被宽泛运行于美国的很多银行系统中，用来识别支票上的手写数字。

2012 年，一个增强版的卷积神经网络 AlexNet 在 ILSVRC 较量中的图像分类目的逾越了基于传统算法近 10个百分点，自此卷积神经网络就逐渐成了识别相关的计算机视觉义务中的标配。

图3：AlexNet

2014 年，Network in Network 被提出，1x1 卷积和 Global Pooling 被宽泛运行。

图4：NIN

同年的 GoogLeNet 开局把“并联”卷积门路的方式发扬光大，并在 ILSVRC 中拿下了分类目的的冠军。

图5：GoogLeNet

2 年，为了处置深度网络随着层数加深性能却退步的疑问，过后还在 MSRA 的何恺明，提出了 Residual Block 并基于此和先人阅历推出了ResNet 这个大杀器，在 ISLVRC 和 COCO 上横扫了一切对手。

图6：Residual Block

ResNet 虽然看下来更深了，直观来了解其实是不同深度网络的一个 ensemble，Cornell 的 Serge Belongie传授专门用一篇论文讨论了这个疑问。

图7：Residual Block 的 Ensemble 解释

沿着这个思绪，清华、Cornell 和 FAIR 在 2016 年协作提出了 DenseNet，并取得了 2017 年 CVPR 的最佳论文。

图8：DenseNet

也有沿着 GoogLeNet 继续把“并联”卷积钻研到极致的，雷同是宣布在 CVPR2017 的Xception。作者的观念是，卷积核的维度和学习难度也间接相关，让卷积照应图之间去掉关联，既能学习到没有相关性的特色，还能降落卷积核学习的难度。

图9：Xeception Depthwise Convolutions

总之钻研者们在优化网络结构的路线上还在继续，不过从适用的角度看，越是复杂的网络，训练的难度也经常越高。

在鉴黄模型研发的长期间探索中，咱们发现 ResNet 是在训练难度和模型性能上最平衡的一种结构。所以目前悟空鉴黄算法是在 ResNet基础上启动了优化和改良的一种结构。

万事扫尾难，虽然网络上的十八禁资源四处都是，数据的积攒却经常不是欲速不达。在悟空系统的起步阶段，迁徙学习是极速获取可用模型的法宝之一。

详细到鉴黄算法上，咱们的方法是基于其余经过少量数据训练过的卷积神经网络模型基础上，应用有限的数据启动参数微调。

微调的思维是，在神经网络中，特色是分层一步步组合的。低层参数学习的普通是线条，纹理，色彩等信息，再高一些的层学习到便捷图案，状态等，最高层的参数学习到的是由底层特色组分解的语义信息。

图10：CNN 特色的分层表白表示

所以在不同义务中，低层的特色往往是差不多的，那么只有要扭转高层的参数就可以在不同义务间最大化共享信息，并到达很好的泛化。

直观来了解，色情图片的检测中，背景画面部分就是普通的图片，色情内容其实也是人，很多信息是和普通数据集，比如 ImageNet 数据共享的。

所以只有要学习到针对色情图片的高层语义信息就可以用大批数据训练一个良好泛化的模型。

为了成功微调，咱们首先会找一个经常出现的基础模型，比如 ImageNet预训练好的各种盛行网络结构。而后解冻低层参数的学习率，只让模型高层和语义相关的参数在大批样本上启动学习。

那么，怎样知道哪些层须要解冻，哪些层须要学习呢?咱们探求过两种基于可视化的方法，一种是 2013 年 ILSVRC 分类冠军 Matthew Zeiler的 Deconvolution，经过从上至下的 Transposed Convolution把照应图和特定图片中的相应区域关联在一同，可以观察照应图激活对应的区域。

图11：基于 Deconvolution 的卷积核可视化

不过这种方法成功较费事，而且须要对给定图片启动观察，有时刻难以协助发现模型自身的特点。

另一种方法是间接在图像空间上以最大化激活特定卷积核获取的照应图作为目的(ActivationMaximization)，对输入图像启动优化，看最后获取的图案，这种方法最早是 Bengio 组在 2009 年的一个 Techreport：《Visualizing Higher-Layer Features of a DeepNetwork》，起初被用到了很多中央，包括可视化、反抗样本生成和 DeepDream。

图12：基于激活最大化的卷积层可视化

这个方法的好处是便捷易操作，缺陷是图像经常看不出是什么，有时须要脑补。所以即使有了可视化手腕的辅佐，选择如何微调参数仍是个阅历活，假设机器资源足够可以写个脚本智能训练一切或许状况启动暴力搜查。

除了基于图像分类模型，VOC 和 COCO 等数据集训练出的检测模型的网络也是很好的微调基础。

检测和分类虽然是不同的义务，但相关十分严密，尤其是鉴黄运行中，露点是选择能否色情的关键规范之一，而显露的“点”是个位置属性很强的信息。

在悟空鉴黄研发的环节中，咱们也基于迁徙学习的思维，尝试了很多分类和检测结合的手腕，对最终模型的成果也起到了很大的促成。

当一个模型训练好之后，为了优化目的，咱们会探求一些模型自身的个性，而后做针对性的改良，可视化是这一步骤中最经常出现的手腕之一。

上一部分中，曾经提到了激活最大化的方法，在训练好的模型中，这也是十分有效的一个手腕。

举个例子，关于 ImageNet 训练出的模型，假设咱们对哑铃启动激活最大化的可视化，会看到上方的图像：

图13：ImageNet 预训练模型中哑铃类别的最大激活图像

除了哑铃，还会出现手，而手并不是目的的特色。在黄图中，比如某类数据中露点的部位 A(例：大长腿)经常随同着一个其余特定图案B(例：露点)出现，就会出现相似的状况。

这样的结果是一些没有蕴含露点部位 A 的反常图片，由于蕴含了特定图案B，就会有被误判为色情图片的偏差。经过可视化的手腕，假设发现了这样的情景，就可以在数据层面启动改良，让真正 A 的特色被学习到。

从直观角度讲，基于激活最大化的方法并不是很好，所以更罕用的一个方法是类别激活照应图(Class Activation Map，CAM)。

CAM 自从 NIN 中提出 1x1 卷积和 Global Pooling 就被很多人经常使用过，不过第一次性比拟明白的讨论是在 MIT 的 BoleiZhou 的论文《Learning Deep Features for Discriminative Localization》中。

图14：类别激活照应图

这种方法的基本思维是把 Global Pooling 之后，特定类别的权重运行在 pooling 之前的 featurechannel上，而后依照像素加权求和，获取该类别激活在不同位置上的照应。

这种方法十分直观地通知咱们，类别中图像的哪些部分是重要的激活图案。在剖析模型的漏检和误检样本的时刻，咱们经过这种方法剖析模型对图像中人一眼就能识别的图案能否敏感，选择改良模型时降级数据的战略。

普通来说，咱们在启动机器学习义务时，经常使用的每一个算法都有一个目的函数，算法便是对这个目的函数启动优化，特意是在分类或许回归义务中，便是经常使用损失函数(LossFunction)作为其目的函数，又称为代价函数(Cost Function)。

损失函数是用来评价模型的预测值 Y^=f(X) 与实在值 Y 的不分歧水平，它是一个非负实值函数。通经常常使用 L(Y,f(x))来表示，损失函数越小，模型的性能就越好。

设总有 N 个样本的样本集为 (X,Y)=(xi,yi)，yi,i∈[1,N] 为样本i的实在值，yi^=f(xi),i∈[1,N] 为样本 i的预测值，f 为分类或许回归函数。那么总的损失函数为：

选用一个适合的损失函数，是成功训练一个深度学习模型的关键，也是机器学习从业者钻研和专一改良的目的。

各种各样的损失函数层出不穷，其中包括：适用于训练回归义务的欧式距离损失函数(Euclidean Loss)，适用于 Siamese网络的对比损失函数(Contrastive loss)，适用于一对多分类义务的铰链损失函数(Hinge Loss)，预测目的概率散布的 Sigmoid交叉熵损失函数(Sigmoid Cross Entropy Loss)，信息增益损失函数(InformationGainLoss)，多项式逻辑损失函数(Multinomial Logistic Loss)，Softmax损失函数 (SoftmaxWithLoss) 等等。

TripletLoss 是一种基于欧式距离的损失函数，自从 Google 提出后，在人脸识别等畛域获取了宽泛运行。

优化 TripletLoss时，算法尽量减小正样例对的欧氏距离，增大负样例对的欧式距离。广为人知的是，基于欧式距离的分类，对锐化图像和含糊图像缺少区分才干。

图15：Triplet 训练表示

SoftmaxWithLoss 是深度学习分类义务中最罕用的损失函数，softmax驳回了延续函数来启动函数的迫近，最后驳回概率的方式启动输入，这样弱化了欧氏距离损失函数带来的疑问。

反抗样本及 GAN 在鉴黄算法中的运行

在鉴黄算法的研发环节中，咱们也做了一些在学术界前沿和抢手算法落地的尝试，重要包括反抗训练和生成式反抗网络。

反抗样本是指专门针对模型发生的让模型失败的样本。深度学习虽然在图像分类义务上大幅逾越了其余各种算法，然而作为一种非部分泛化的参数模型，却是十分容易被攻打的模型。

比如一幅图，加上一个针对模型发生的攻打“噪声”之后，就会被以十分高的置信度分为失误的类别。

图16：攻打样本表示

反抗样本实践上会对模型的分类边界启动改善，在悟空鉴黄算法的研发中，咱们引入了反抗训练，来提高模型的泛化性。

生成式反抗网络是 2017 年视觉和机器学习畛域的相对热点。生成式反抗网络蕴含两部分，一个是用于生成样本的生成式模型G，另一个是用于区分生成样本和实在样本的判别模型 D。

从思维过去说，生成模型的思绪是让一个便捷散布(比如多维高斯散布)经过模型的变换生成一个较为复杂的散布，这个散布要尽量迫近目的数据的散布，这样就可以应用生成模型获取目的数据的样本了。

图17：生成式模型表示

所以目的是要让两个散布贴近，最基础的想法就是学习参数让样本似然最大，比如 MLE;或许变换另一个思绪，让两个散布的差异尽量小，GAN就属于这一类。

图18：GAN 表示

GAN 中由 G 发生的样本会尽量朝着数据所在的流形贴近，目的是让 D 分不进去，而 D 也会在每次训练中让自身才干优化，尽量区分哪些样本是实在的、哪些是G 发生的，相当于一个零和博弈，这就是反抗的由来。

现实状况下，最后 D 再也不可优化，G 学习到实在的数据散布，并且和输入散布所在空间建设一种对应。

详细到鉴黄算法中，GAN 的作用重要体如今经过改善数据的分类边界，对大批类型数据的优化。

吴恩达提到过，深度学习中，算法是引擎，数据是燃料。虽然如今悟空鉴黄系统曾经到达千万级海量数据，然而数据总是越多越好，并且关于有些特定类型的数据，数量未必高到可以单纯训练就到达很好成果。这种状况下，半监视学习是改善模型性能的一个选项。

2016 年，在鉴黄算法研发初期，咱们就尝试过用 GAN学习特定类别的数据，并生成数据，作为伪色情和伪性感类别添加到模型当中启动更多类别的半监视模型训练，经常使用的时刻再放弃伪类别。

定性来看，在数据很少的时刻，每个类别之间的分类边界会十分毛糙，偏差于“原理”数据所在的流形，而用 GAN生成的数据中，和实在数据有必定的相似性(纹理，部分图案)，肉眼却一眼就能分辨不同于实在数据(由于目前非条件 GAN只能生成一些便捷数据比如人脸、火山、星球等)。

这相当于发生了一批更接近实在数据的伪数据，让判别器学习实在数据和这种数据之间的分类边界就可以让边界离实在数据靠的更近。数据量少的时刻，这种方法能带来十分大的泛化性能提高。

不过须要留意的是这种方法有个假定：G 网络不能生成很完美的图像，否则 G网络就相当于一个数据出现器，会造成分类网络解体。起初和咱们做法相似的方法开局出如今论文里，比如NVIDIA的《Semi-Supervised Learningwith Generative Adversarial Networks》。

在鉴黄算法的研发中，咱们也尝试了一些看下来比拟超前的算法，比如 Image-to-Image Translation。

鉴黄疑问中色情和性感类别由于有很高的相似性是十分难区分的，比如一个险些露点的图片就是性感类别，而一旦露点了，即使画面其余部分简直一样，也是色情类别。

为了针对这种状况提高准确率，咱们的思绪假设能生成图片对，一幅是色情一幅是性感，就可以针对这样的图片对启动训练，到达对色情/性感类别更强的分类才干。

沿着这个思绪，咱们尝试了 UC Berkeley 宣布的 Pix2Pix：《Image-to-Image Translation withConditional Adversarial Networks》和 Cycle-GAN：《Unpaired Image-to-ImageTranslation using Cycle-Consistent Adversarial Networks》。

应用 Pix2Pix，咱们可以把带马赛克的图片(标注为性感)中的马赛克去掉(标注为色情)。Pix2Pix 其实就是一种单纯的对图像启动变换的 CNN结构，模型的训练上就是把图片配好对，训练输入图片尽量生成和输入差不多的图片。

传统的相似结构中，都是用重建误差来作为训练目的，不过基于重建误差的目的往往会造成重建的图片十分含糊，而 GAN 中的 Adversarial loss正好可以处置含糊疑问，所以被宽泛运行于须要生成丰盛细节的图像的运行，Pix2Pix 是其中之一。

图19：Pix2Pix

Pix2Pix 去除马赛克的成果大抵贴进去大家感触一下(左边是马赛克图片，左边是 Ground Truth，两边是模型生成图片)：

图20：Pix2Pix 去除马赛克成果展现

带马赛克的图片算是比拟小众的一种图像，在实践场景中未必会对模型有很大协助，假设能有穿衣服-不穿衣服的图像对，对泛化才干的优化应该会更无心义，所以咱们又尝试了Cycle-GAN。

Cycle-GAN 其实也只是用到了 Adversarial loss，和生成模型没什么相关，重要的奉献还是把对偶学习结合 Adversarialloss 用到了图像翻译上。

在 Cycle-GAN 中，每一次性训练会把一个 domain 中的图像翻译到另一个domain，而后在翻译回来，并审核分歧性，同时每次被翻译的图像能否和该 domain 实在样本可区分，经过 adversarial loss 成功：

最后穿衣服的成果如下(左图马赛克为手动加上)：

图21：Cycle-GAN 穿衣服成果展现

由于生成图片的成功率较低，最后并没有运行到实践的训练中。不过随着整个 AI畛域技术的不时提高，各种开脑洞的方法会越来越多，咱们也会继续探求和改良，让咱们的鉴黄算法愈加准确、高效和牢靠，成为真正的“火眼金睛”。