深度学习的局限性和未来

按：本文来自 Keras 作者 François Chollet，同时也是依据他撰写的《Deeping Learning with Python》一书第9 章第 2 节改编的

作者注：这篇文章的受众是曾经有深度学习阅历的人(例如读过本书第 1 章至第 8 章的人)。 咱们假定读者曾经具有必定常识储藏。

深度学习的几何学视角

深度学习最令人惊讶之处就在于它十分便捷。十年前，没有人指望由梯度降低方法训练的便捷参数模型就可以在机器感知疑问上取得惊人的结果。如今，理想证实，你只要要一个有足够多参数的模型，并且在足够大的数据集上经常使用梯度降低启动训练。正如Feynman 曾经形容宇宙那样，「它并不复杂，只是很多而已」。

在深度学习中，一切都是一个向量，即一切都是几何空间中的一个点。模型输入(可以是文本，图像等)和目的首先被「矢量化」，即变成一些初始输入矢量空间和目的矢量空间。深度学习模型中的每一层对经过它的数据启动便捷的几何变换。同时，模型的档次链构成一个十分复杂的几何变换，分解成一系列便捷的几何变换。这种复杂的转换尝试将输入空间一次性一个点得映射到目的空间。这种转换是经过层的权重启动参数化的，权重依据模型口头的状况启动迭代降级。这种几何变换的一个关键特色是它必需是可微分的，这是为了使咱们能够经过梯度降低学习它的参数。直观地说，这象征着从输入到输入的几何变形必需平滑且延续——这是一个关键的解放条件。

这种复杂的几何变换运行到输入数据的整个环节可以用三维的方式启动可视化，将其想象成一团体试图将揉成团的纸球复原平坦：皱巴巴的纸球是模型开局时的输入数据的复本。人对纸球的每个操作相当于一层便捷几何转换的操作。完整的抚平(纸球)举措顺序是整个模型的复杂转换。深度学习模型是用于解开高维数据复杂流形的数学机器。

深度学习的神奇之处在于： 将语义转化为矢量，转化为几何空间，而后逐渐学习将一个空间映射到另一个空间的复杂几何转换。你须要的只是足够高维数的空间，以便捕捉原始数据中所有的相关范围。

深度学习的局限性

用这个便捷战略成功的运行程序空间简直是有限的。但是，现有的深度学习技术关于更多的运行程序齐全无能为力——即使提供了少量的人工注释数据。例如，你可以尝试搜集不可胜数甚至百万的关于软件产品特色的英文形容的数据集，由产品经理编写，以及由工程师团队开发的相应的源代码来满足这些要求。即使有了这些数据，你也无法训练深化的学习形式去便捷地浏览产品说明并生成适当的代码库。这只是其中的一个例子。普通来说，无论你投入多少数据，深度学习模型都无法成功任何须要推理的物品，如编程或迷信方法的运行——常年布局和相似算法的数据操作。即使经常使用深度神经网络学习排序算法也是十分艰巨的。

这是由于深度学习模型仅仅是将一个向量空间映射到另一个向量空间的便捷延续几何变换链。它可以做的所有就是将一个数据流形 X 映射到另一个流形 Y，假定存在从X到 Y 的可学习延续变换的话，并且可以经常使用密集的 X：Y采样作为训练数据。因此，虽然深度学习模型可以被解释为一种程序，反上来说的话，大少数程序不能被表白为深度学习模型——关于大少数义务来说，要么没有相应的实践大小的深度神经网络来处置义务，或许存在这样的神经网络，但它或许无法学习，即相应的几何变换或许太复杂，或许或许没有适合的数据可用来学习它。

经过堆叠更多层并经常使用更多训练数据来裁减的深度学习技术，只能在外表上缓解一些疑问。它不能处置深度学习模型在他们可以示意的内容种类十分有限的基本疑问，并且大少数被希冀可学习的程序不能被示意为数据流形的延续几何变形。

拟人化机器学习模型的风险

当代人工智能的一个十分理想的风险是人们曲解了深度学习模型的作用，并高估了他们的才干。人类思想的一个基本特色是咱们的「心智通常」，咱们偏差于将动向，崇奉和常识投射到咱们身边的事物上。在咱们的看法中，在岩石上画一个笑脸石头就突然变「快乐」了。运行于深度学习，这象征着当咱们能够「基本成功」的训练模型以生成用于形容图片的题目时，咱们就会置信该模型能够「了解」图片的内容以及「了解」它所生成的字幕。而后，当训练数据中出现的图像类别细微偏离时，咱们会十分惊讶地发现模型开局生成齐全荒唐的题目。

尤其是「反抗性样本」值得强调，这些例子是一个深度学习网络的输入样本，旨在诱骗模型对它们启动失误分类。你曾经看法到，可以在输入空间中启动梯度回升以生成最大化某个闭环过滤器激活的输入，这是咱们在第5 章中引见的过滤器可视化技术的基础，以落第 8 章的 Deep Dream算法。雷同，经过梯度回升，人们可以稍微修正图像以最大化给定类的类别预测。经过拍摄一张熊猫的图片并参与一个「长臂猿」梯度，咱们可以失掉一个神经网络，将这只熊猫归类为长臂猿。这证实了这些模型的软弱性，以及它们的输入——输入映射与咱们人类自身认知之间的深入差异。

总之，深度学习模型并不了解他们的输入，至少没有人类看法上的了解。咱们人类对图像，声响和言语的了解是基于咱们作为人类的觉得静止体验——正如地球上的动物所体现的一样。机器学习模型无法取得这些阅历，因此无法以与人类分歧的视角来「了解」他们的输入。经过注释少量的训练样例来训练咱们的模型，咱们让他们学习在特定数据集上，将数据映射到人类概念的几何变换，但这个映射只是咱们头脑边疆始模型的便捷概要，这是咱们作为人类实体的体验得来的——它就像镜子里的一个含糊的笼统。

作为一名机器学习通常者，请一直留意这一点，永远不要堕入这样一个圈套，即置信神经网络了解他们所口头的义务——他们不会的，至少不会以对咱们无心义的方式了解。不同于咱们想教他们的义务，他们被训练来口头更为狭窄的义务：仅仅将训练集输入逐点映射到训练目的中。向他们展现任何偏离训练数据的物品，他们将给出最荒唐的结果。

部分泛化与极限泛化

深度学习模型中从输入到输入的间接几何变形，与人类思索和学习的方式之间简直是齐全不同的。这不只仅是人类从自身的阅历中学习而不是经过明白的训练实例来学习的疑问。除了学习环节不同之外，基本表征的性质也存在基本差异。

人类能做的远远不只是像深度神经网络或昆虫那样把即时抚慰映射成即时反响。人们维持着关于目前处境、关于他们自己和其他人的复杂笼统模型，并且可以经常使用这些模型来预测不同的或许出现的未来并口头常年布局。他们能够将已知的概念兼并在一同，来示意他们以前从未阅历过的事物，例如描画衣着牛仔裤的马，或想象假设他们中了彩票就会做什么。这种处置假定的才干，裁减了咱们的心智模型空间，使其远远超出咱们可以间接体验到的事物空间，总而言之，启动笼统和推理，可以说是人类认知的选择性特色。我称之为「极限泛化」：这是一种在面对未阅历的状况时，经常使用很少的数据甚至基本没有新的数据就能顺应新状况的才干。

这与深度网络所做的构成显明对比，我称之为「部分泛化」： 假设新输入与训练时看到的略有不同，则由深度网络口头的从输入到输入的映射立马失去意义。例如，来思索这样一疑问，想要学习使火箭在月球上着陆的适合的发射参数。假设你要经常使用深层网络来成功这项义务，无论是经常使用监视学习还是增强学习启动训练，你都须要用数千乃至数百万次的发射实验启动训练，也就是说，你须要将模型置于密集的输入采样点空间，以便学习从输入空间到输入空间的牢靠映射。

相比之下，人类可以应用他们的笼统才干来提出物理模型——火箭迷信——并得出一个确切的处置打算，只要一次性或几次实验即可取得月球上的火箭的发射参数。雷同，假设你开发了一个控制人体的深度网络，要它能够在市区中安保地驾驶汽车并不被其余汽车撞，那么这个网络将不得不「死亡」数千次在各种场景中，直到它可以推断出汽车和风险并制订适当的逃避措施。放到一个新的市区，网络将不得不从新学习已知的大部分常识。另一方面，人类就不用经过死亡来学习安保的行为，这要归功于他们对假定情境的笼统建模的才干。

部分泛化： 形式识别级别的泛化才干; 极限泛化：由笼统和推理失掉的泛化才干

总之，虽然咱们在机器感知方面取得了停顿，但咱们离人类级别的 AI还很远：咱们的模型只能口头部分泛化，要顺应一种新场景必需与原始数据咨询的很严密，而人类认知能够极限泛化，极速顺应全新的状况，或为常年的未来状况做出布局。

引申

以下是您应该记住的内容：到目前为止，深度学习的惟一真正成功之处就是在给定少量人工注释数据的状况下，经常使用延续几何变换将空间 X 映射到空间 Y的才干。做好这件事关于每个行业来说都是一件扭转行业游戏规定的事儿，但它离人类级别的 AI 还有很长的路要走。

为了解除这些局限性并开局与人类大脑启动竞争，咱们须要从便捷的输入到输入映射转向推理和笼统。计算机程序或许是对各种状况和概念启动笼统建模的一个适合的基础。咱们之前书中曾经说过，机器学习模型可以被定义为「可学习程序」;目前咱们能学习的程序属于一切或许程序中十分狭窄和特定子集。但是假设咱们能够以模块化和可重用的方式学习任何程序呢?

鉴于咱们所了解到的深度神经网络的上班机制、局限性以及的钻研状况，咱们能否可以预感到神经网络在中期之内将如何开展呢?这里分享一些我的团体想法。请留意我并没有能预测未来的水晶球，所以我所做的大部分预测或许都将失败。这齐全就是一篇预测性的帖子，我之所以分享这些推测并不是宿愿它们在不久的未来会被证实是正确的，而是由于这些预测在看来十分幽默而且具有通常性的。

总的来说，我预感的几个关键方向是：

此外值得留意的是，我的这些思索并不是针对曾经成为监视式学习主力的深度学习。恰好相反，这些思索适用于任何方式的机器学习，包含无监视学习、自我监视学习和强化学习。你的标签来自于哪里以及你的训练循环是什么样的，这些都不关键。这些机器学习的不同分支只是同一结构的不同方面。接上去让咱们开局深化讨论。

模型即程序

正如咱们在前一篇文章中所提到的，咱们在机器学习畛域可以预期的一个转变开展是，从纯正形式识别并且只能成功部分泛化才干(Localgeneralization，见上篇)的模型，转向能够成功笼统和推理的模型，也就是可以到达终极的泛化才干。 目先人工智能程序能够启动的基本推理方式，都是由人类程序员硬编码的 ：例如依托搜查算法、图形处置和方式逻辑的软件。详细而言，比如在DeepMind 的 AlphaGo中，大部分的「智能」都是由专业程序员设计和硬编码的(如蒙特卡洛树搜查)，从数据中学习只出当初专门的子模块(价值网络和战略网络)。但是在未来，这样的人工智能系统很或许会被齐全学习，而不须要人工启动介入。

有什么方法可以做到这一点?让咱们来思索一个妇孺皆知的网络类型：递归循环神经网络(RNN)。关键的一点是，递归循环神经网络比前馈网络的限度来的少。这是由于递归循环神经网络不只仅是一种几何变换：它们是在for 循环内重复运行的几何变换。时序 for循环自身是由人类开发者硬编码的：它是网络的内置假定。人造地，递归神经网络在它们可以表征的内容上依然十分有限，关键是由于它们口头的每一步依然只是一个可微分的几何变换，而它们从步到下一步传送消息的方式是经过延续几何空间(形态向量)中的点。

如今，想象一下神经网络将以相似的方式「编程」，比如for 循环编程基元，但不只仅是一个带有硬编码的几何内存硬编码 for 循环，而是一大组编程基元，而后模型可以自在操纵这些基元以裁减它们的处置配置，例如 if分支、while循环、变量创立、常年记忆的磁盘存储、排序操作和初级数据结构(如列表、图和散列表等)等等。这样的网络可以表征的程序空间将远远大于深度学习模型可以表征的空间，并且其中一些程序甚至可以取得优越的泛化才干。

总而言之，咱们将远离「硬编码算法智能」(手工软件)，以及「学习几何智能」(深度学习)。咱们将领有提供推理和笼统才干的方式化算法模块，以及提供非正式直觉和形式识别配置的几何模块。整个系统只要要很少的人工介入即可成功学习。

我以为人工智能相关的一个子畛域或许行将迎来春天，那就是程序分解(Program synthesis)，特意是神经程序分解(Neural programsynthesis)。程序分解包含经过经常使用搜查算法(比如在遗传编程中或许是遗传搜查)来智能生成便捷的程序，用以探求或许程序的渺小空间。当找到与需求(需求通常以一组输入-输入对启动提供)相婚配的程序时，搜查将中止。正如你所想的，它能否让你想起了机器学习：给出输入-输入对作为「训练数据」，咱们找到一个将输入映射到输入的「程序」，并且能将它泛化到其它输入。不同之处在于，咱们不是在硬编码程序(神经网络)中学习参数值，而是经过团圆搜查环节生成源代码。

我必定会十分等候在接上去的几年内这个子畛域会再次迎来第二个春天。特意是，我等候在深度学习和程序分解之间出现一个交叉子畛域，在该畛域咱们不会驳回通用言语生成程序，而是增强了一套丰盛的算法原语的生成神经网络(几何数据处置流)，例如for 循环等等。这应该比间接生成源代码愈加容易处置和有用，它将大大裁减机器学习可以处置的疑问范围——咱们可以依据适当的训练数据智能生成程序空间。符号AI(Symbolic AI) 和几何 AI(Geometric AI)的融合，当代递归神经网络可以看做是这种混合算法几何模型的开山鼻祖。

逾越反向流传和可微分层

假设机器学习模型变得更像是一段程序，那么它们将变得不再可微——当然这些程序依然会将延续的几何层作为子程序启动经常使用，这都是可微的，但是整个模型却不会。因此，在固定的硬编码网络中经常使用反向流传来调整权重值无法成为未来训练模型的首选方法——至少它无法像如今这样独占鳌头。咱们须要找出能有效训练非微分系统的方法。目前的方法包含有遗传算法、退化战略、某些强化学习方法和交替方向乘子法(Alternatingdirection method of multipliers,ADMM)。人造而然的，梯度降低法哪儿也不会去——梯度消息关于提升可微分参数函数总是有用的。但是咱们的模型必需会比单纯的可微参数函数来的愈加弱小，因此它们的自主改善(「机器学习」中的「学习」)须要的将不只仅是反向流传。

此外，反向流传是端到端的学习形式，这关于学习良好的链式转换是一件善报件，但在计算效率上却十分低效，由于它没有充沛应用深度神经网络的模块化特性。为了提高效率，有一个通用的战略：引入模块化以及档次结构。所以咱们可以经过引入分别的训练模块以及它们之间的一些同步机制，以分层的方式组织起来，从而使得反向流传计算愈加高效。DeepMind近期的上班「分解梯度」在某种水平上反映出了这一战略。我预期不久的未来在这一块将有更多的上班展开。

咱们可以预感的一个未来就是，这些模型将变得全局无法微分(但将具有部分可微分性)，而后经过有效的搜查环节而不是梯度战略启动训练。另一方面，经过应用一些更高效版本的反向流传以施展梯度降低战略的最大好处，部分可微分区域将失掉更快的训练速度。

智能化机器学习

在未来，模型架构将能够经过学习成功，而不是须要由工程师手工设置。并且智能化学习架构与经常使用更丰盛的基元和程序式机器模型(Program-likemachine learning models)将结合在一同。

目前深度学习工程师大部分上班都是经常使用 Python脚原本处置数据，而后破费很多的期间来调整深度网络的架构和超参数以取得一个还过得去的模型——或许说甚至取得一共性能最先进的模型，假设这个工程师是够雄心勃勃的话。无须置疑，这样的做法并非最佳的，但是此时深度学习技术依然可以施展必定的成效。不过可怜的是，数据处置部分却很难成功智能化，由于它通常须要畛域常识以及对工程师想要的成果有十分明晰的上档次了解。但是，超参数调整是一个十分便捷的搜查环节，并且咱们曾经知道了工程师在这种状况下想要取得什么成果：它由正在被微调的网络的损失函数定义。设置基本的「AutoML」系统曾经很经常出现了，它将担任大部分模型的调整。我甚至在几年前设置了自己的模型并赢得了Kaggle 比赛。

在最基本的层面上，这样的系统可以便捷地调整栈中堆叠的层数、顺序以及每一层中的单元或许说滤波器的数量。这通常是经过相似于 Hyperopt这样的库来成功的，咱们在《Deep Learning with Python》的第 7章中曾讨论过这点。但咱们的抱负可以愈加远大，并尝试从零开局学习适当的架构，而后尽或许缩小限度条件。这可以经过强化学习或许遗传算法来成功。

另一个关键的 AutoML方向是与模型权重一同联结学习模型架构。由于从头开局训练一个全新的架构，并且还要在每次尝试中对架构启动微调是十分耗时和低效的，所以一个真正弱小的 AutoML系统可以在经过训练数据反向调整模型特色的同时设法改良体系结构，从而消弭一切的计算冗余。当我正在撰写这些内容时，这些方法曾经开局出现了。

当这种状况出现时，机器学习工程师的上班不会隐没，恰好相反，工程师将在价值发明链上走上洼地。他们将开局投入更多精神来打造真正反映业务目的的复杂损失函数，并深化了解他们的模型如何影响他们所部署的数字生态系统(例如，担任消费模型预测结果以及发生模型训练数据的用户)，而这些疑问目前只要巨头公司才有暇顾及。

终生学习和模块化子程序复用

假设模型变得越来越复杂并且建设在更丰盛的算法基元之上，那么这种参与的复杂度将须要在不同义务之间成功更好地复用性，而不是每当咱们有了新义务或许新数据集之后还须要从头开局训练新模型。理想上，许少数据集都由于数据量不够大而无余以允许从头训练新的复杂模型，并且须要应用来自先前数据集中的消息。就像你不须要在每次关上一本旧书时都从新学习一遍英语一样。此外，由于义务与以前遇到的义务之间或许存在少量的堆叠，因此对每个新义务都从头开局训练模型的做法十分低效。

此外，近年来重复出现的一个清楚的观测结果是，训练相反的模型以同时口头几个松懈衔接的义务，将发生一个对每个义务都更好的模型。例如，训练相反的神经机器翻译模型以笼罩从英语到德语、法语到意大利语的翻译，将失掉一个比独自训练来得更好的模型。又比如与图像宰割模型一同训练图像分类模型，共享相反的卷积核，从而发生一个在两项义务中都体现更好的模型，等等。这一点十分直观：这些看起来仿佛不相关的义务之间总是存在着消息堆叠，因此联结训练模型比起只在某一特定义务上训练的模型，可以失掉与每项独自义务无关的少量消息。

咱们目前沿着跨义务模型复用(Model reuse acrosstasks)的方向所做的上班就是，应用预训练权重模型来处置经常出现义务，例如视觉特色提取。你将在第 5章看到这一点。在未来，我宿愿这种泛化才干能成功更佳的普适性：咱们不只会复用以前学过的特色(子模型的权重值)，还会复用模型架构和训练环节。随着模型变得越来越像程序，咱们将开局重用程序子程序(Programsubroutines)，比如人类编程言语中的函数和类。

想想当天软件开发的环节：一旦工程师处置了一个特定的疑问(例如 Python 中的 HTTP恳求疑问)，他们会将其打包为一个笼统且可以重用的库。这样未来面临相似疑问的工程师可以经过便捷地搜查现有的库，而后下载并在名目中经常使用它来处置疑问。相相似地，在未来元学习(Meta-learning)系统将可以经过挑选初级可重用块的全局库来组装全新的程序。

当系统发现自己为几个不同义务开发了相似的程序子程序时，假设能够具有「笼统」的才干，即子程序的可重用版本，而后就将其存储到全局库种。这样的环节将成功笼统的才干，这是成功「终极泛化」的必要组成部分：在不同义务和畛域发现有用的子程序可以被以为「笼统」了一些疑问处置打算的某些方面。这里「笼统」的定义与软件工程中的笼统概念相似。这些子程序可以是几何的(具有预训练表征的深度学习模块)也可以是算法的(更凑近当代软件工程师经常使用的软件库)。

元学习器能够经常使用可复用基元(算法和几何)极速开发针对特定义务的模型，从而成功“极其泛化”。

总结：洞见未来

总而言之，这里是一些我对机器学习常年开展的洞见：