你了解吗 深度学习的局限性

简评：AI、机器学习、深度学习是近年大热的畛域，但咱们要清楚，深度学习的局限性，即虽然可以经常使用延续几何变换把 X 映射到Y，但缺乏推理才干和形象才干。训练集样本无余，有些数据不可用延续的几何变换示意。虽然如今机器学习能够扭转很多行业的游戏规定，但距离兽性化 AI还有很远的路要走。

深度学习：几何视图

关于深度学习最令人惊讶的它把复杂便捷化。十年前，没人能想到，经过梯度降低的训练便捷的参数模型，就能成功机器感知方面的如此惊人的结果。如今，理想证实，你只有要思索足够多的例子以及所须要的少量参数模型就够了。费曼曾经这么形容过宇宙，「It’snot complicated, it’s just a lot of it」。

在深度学习中，一切物品都是向量，即一切都是几何空间的一个点。模型输入(它可以是文本，图像等)和目的首先被「矢量化」，即变成一些初始输入向量空间和目的向量空间。深度学习模型中的每层都对经过它的数据启动一个便捷的几何变换。他们汇合在一同，模型的层链构成一个十分复杂的几何变换，而后合成成一系列便捷的几何变换。这种复杂的转换尝试将输入空间映射到目的空间，一次性一个点。该变换依据不同层的权重参数而扭转，这些层依据模型在口头的水平上启动迭代降级。这种几何变换的一个关键特色是它必定是可微分的，这是为了使咱们能够经过梯度降低来钻研其参数的必要条件。直观地说，这象征着从输入到输入的几何变形必定是平滑和延续的。

整个环节都是把复杂的几何变换到输入数据。

这就是深度学习的魔力：将意义转化为向量，转化为几何空间，而后逐渐学习复杂的几何变换，将一个空间映射到另一个空间。

深度学习的局限性

经过便捷的战略，咱们就能领有简直有限的成功运行的或许性。但是，目前即使有少量的人为注释的数据，也有很多的深度学习不可成功。比如说，你可以整顿一个数据集，规模或许是数百、数千、数十万、甚至数百万的言语来形容软件产品的配置。即使有这些数据，您也不可训练一个深度的学习模型来便捷地浏览产品形容并生成相应的代码库。这只是其中的一个例子。普通来说，任何须要推理的程序设计，或运行迷信的方法(常年布局和相似算法的数据操作)，无论您投入多少数据，深度学习模型都是不可成功的。即使学习具备深层神经网络的排序算法也是难以成功的。

这是由于一个深度学习模型是「便捷的」 延续的几何变换链，将一个向量空间映射到另一个空间。它能做的就是标志数据 X，对应关联到到数据 Y 上，假定存在从 X到 Y 的可学习的延续变换，并且存在密集的可用的 XY 训练集，深度学习模型才干够成立。但大少数程序不能被称为深度学习模型 –关于大少数义务，要么没有相应的实践多的深层神经网络来处置义务，要么即使存在神经网络，它或许不可自我学习，即对应的几何变换或许太复杂，或许没有可以学习的基础数据集作参考。

经过重叠更多层和经常使用更多的训练数据来裁减的深度学习技术，只能外表缓解其中的一些疑问。这些所代表的范围十分有限，这不会处置深度学习模型的更基本的疑问，而且，大少数或许采取深度学习的程序不能用多样的数据延续几何变形来示意。

拟人机器学习模型的风险

当代 AI的一个十分突出的风险是「曲解了深度学习，并高估了其才干」。人类思维的一个基本特色是依据人类物种的「思维通常和体系」，咱们偏向把人类的用意、崇奉、了解加于身边的事务上。就像在岩石上画一个笑脸它好就像在笑，这些都是咱们的构想。在深度学习方面，例如，当咱们能够有些成功地造就一个模型，它看到图片就生成标题，咱们常误以为该模型「了解」了图片的内容从而生成了标题。而后，当训练数据中存在的图像类型细微偏离造成模型开局发生齐全荒唐的字幕时，咱们会十分惊讶。

(当咱们以为机器学习发生了「了解才干」后，若机器学习输入的结果出现偏离，咱们会十分吃惊，图字：这个男孩拿着一个棒球棒)

经常有些「反抗性案例」能够证实其辨识度的软弱性，输入案例会特别放一些诈骗模型的样本，作为深度学习的输入资料。经过梯度回升，可以稍微修正图像，以便最大化给定类的类预测。经过拍摄一只熊猫，并减少一个「长臂猿」梯度，咱们可以看到，一个神经网络将熊猫分类为长臂猿。这证实了这些模型的软弱性，以及它们运转的输入到输入映射与咱们自己的人类感知之间的深入差异。

(把长臂猿放入训练集，某个神经网络会判定照片上的熊猫是长臂猿)

咱们人类自己对图像，声响和言语的了解，建设在咱们作为人类的感触体验中，地球上的动物也是如此感触和了解。机器学习模型不可取得这种感触和了解，因此不能以人类的觉得去要求机器学习。经过注释少量的训练示例来填充咱们的模型，咱们让它们学习一个几何变换，将数据映射到这个特定的一组示例上，但是这个映射只是咱们思维边疆始模型的便捷草图，机器学习像个口头者，口头人类的思绪，但没有感情和了解，它们的行为准绳都是人类赋予。

作为一名机器学习从业者，一直要留意这一点，永远不要堕入圈套，以为神经网络了解他们所口头的义务 。

部分泛化与极其泛化

深度学习模型的输入到输入的间接几何变形和人类思索和学习的形式，有实质上的区别。人类从自我认知和对外界的阅历看法中一直学习，这和机器学习的学习门路不同，除了不同的学习环节之外，底层表征的性质存在着基本色的差异。

人类对自身目前的状况，对自己和其他人坚持复杂的、形象的思索和行为形式，并可以经常使用这些模型来预测不同的未来或许性，并口头常年布局。人类能够将已知概念融合在一同，就算他们以前从未阅历过的事件，比如见到了一只穿牛仔裤的马，中了彩票，他们会做什么。这种处置假定的才干，将咱们的心思形式变得更复杂，可以说是人类认知的定义特色。我称之为「极其泛化」：顺应离奇的才干，在情境之前从未阅历过，经常使用十分少的数据甚至没有新的数据就能够顺应。

这与深度神经网络构成了显明的对比，我称其为「部分泛化」：假设新的输入与之前的训练集有偏向，哪怕是一点点的差异化，都会放慢深度神经网络的输入与输入的失误率从而停下一切。例如，用深度学习来成功火箭登月的疑问，咱们须要适当的发射参数。假设经常使用深度神经网络启动此项义务，无论是经常使用监视学习还是强化学习启动培训，都须要为数千甚至数百万次的启动实验提供补充，即须要密集的抽样的输入空间，以便成功从输入空间到输入空间的牢靠映射。相比之下，人类可以应用他们的形象力来提出物理模型「火箭迷信」，并在一个或几个实验中得出一个准确的处置打算，将火箭送上月球。

再举个例子，假设你开发了一个能控制人身材的神经网络，并宿愿它能够在不被任何车碰撞的状况下旅游整个市区，那么神经网路控制的人在各种状况下都要死掉数千次，直到可以判别出车辆的状况以及各种风险，并制订口头逃避行为。而再去一个新的市区，神经网络必定从新学习大部分的常识。反上来，人类能够学习安保的行为，而没有用死亡试错的环节，这要归功于人类假定情境的形象建模。

(雷同的阅历，左侧是机器学习的部分泛化，缺乏形象才干。右侧是人类的极其泛华，可以经过假定而形象建模，不用真的遍历)

简而言之，虽然咱们在机器感知上取得了提高，但咱们依然远离理性的人文AI：咱们的模型只能口头部分泛化，顺应与过去数据十分凑近的新状况，而人类认知能够极其泛化，迅速顺应大胆离奇的状况，或为久远未来的状况启动布局。

论断

这是你应该记住的：到目前为止，深入学习的惟一真正的成功是经常使用延续几何变换将空间 X 映射到空间 Y的才干，但还要给出了少量的人为注释的数据。做好这一切，基本上能扭转每一个行业的游戏规定，但是距离更兽性化的 AI 还有很长一段路要走。

为了让 AI 处置这些限度，并开局与人类大脑竞争，咱们须要跳出「便捷的输入到输入映射」，关注推理和形象。