哪一个才干代表视觉了解的未来 判别式or生成式

不时以来，视觉系统方面的许多基础上班都以一种十分便捷的方式成功：向生物展现图像，测量其神经元的反响，展现另一个，而后重复。

这样的方法建设在一种假定之上：视觉解决可以了解为一种融会贯串的输入输入转换。迷信家们钻研细胞时，似乎它们只是依据图像中存在的视觉特色做出反响，而后可以经常使用这些反响来区分不同的图像。

虽然这种对视觉系统的了解在很多方面都取得了丰厚的成绩，但它总是让一些钻研者发生疑心。一局部人以为，视觉系统的解剖结构和动力学钻研结果标明，它不是便捷地以「自下而上」的方式做出反响。相反，它或许会基于一个反映环球运转形式的模型生成一些反响。

这种「判别式（discriminative）」与「生成式（generative）」视觉方法之间的争执曾经继续了数十年。虽然这两种模型都旨在解释视觉解决环节，但这两种方法源于不同的哲学和数学传统。这种状况造成的结果是，不同的钻研人员只经常使用他们自己青睐的方法，而不是协作，因此在这两种范式之间发生了一条鸿沟。

近年来，计算机视觉和计算神经迷信的提高都标明了这种二元划分方法的局限性，推进了更宽泛的视觉解决建模的开展。这就须要双方的代表走到一同，理清各自的观念以及双方的共识和分歧所在。

2021 年 9 月，在虚构认知计算神经迷信 (CCN) 会议的「生成反抗协作（GAC）」揭幕优惠上，钻研人员提交了关于这一主题的提案。

「生成反抗协作」是 CCN 在 2020 年动员的一项流程，旨在让钻研者明白、有效地提出迷信上的分歧。钻研人员可以向 CCN 提交一个有争议的主题提案，少数提案会被选中，进入 GAC 优惠的讨论范围。次年，GAC 组织者会提交一份立场论文，列出这些主题畛域的停顿方案，并在当年的会议上展现该停顿。

2021 年的 GAC 无关于视觉系统中的生成和判别模型的主题，由 11 名钻研人员组成了一个团队。有些人经常使用判别方法，有些人经常使用生成方法，但一切人都对探求两者之间的交加感兴味。依据他们的提议，这个优惠旨在确定「咱们的常识遗产能否适度地分化了咱们对视觉算法的直觉，使咱们堕入了失误的二分法之中。」

为了构建答辩框架，首先有必要知道什么是判别系统和生成系统。但兴许这就是第一个分歧点。

在统计畛域，判别模型和生成模型有便捷的定义。判别模型是在给定观察结果的状况下计算潜在变量或潜在要素的概率的模型。就视觉解决而言，这些潜在变量就是环球上的物体，而观察结果就是撞击视网膜的光。例如，模型会对图像中的像素启动一些计算，以确定哪些对象最有或许存在。相反，生成模型是计算潜在变量和观察结果的联结概率。这须要知道某些物体在普通状况下存在的或许性，而不只仅是它们在给定图像中的或许性。

虽然这些不同概率散布的计算在技术上齐全不同，但当这些计算映射到大脑时，两者之间的界限开局变得含糊。「假设你细心观察，一切都会解体，」哥伦比亚大学神经迷信家、GAC 发言人 Niko Kriegeskorte 说。该畛域不足对生成模型和判别模型的严厉定义，神经迷信钻研文献中出现的内容则更好地被形容为一组松懈的关联。

代表判别一面的模型往往是前馈的、便捷的和极速的。例如，深度前馈卷积神经网络就是判别解决的模范。这些模型通常以有监视的方式启动训练：它们学习将图像映射到标签，例如学习对猫和狗的图像启动分类。生成的模型可以接纳新图像并极速标志它。像这类网络这样的判别系统通常以自下而上的方式上班，构成对其间接输入的便捷照应。由于它们的训练方式，它们也被以为专门用于特定义务，例如物体识别。

相比之下，生成模型速度很慢，但它们也更灵敏、谨严，且更详细现力。它们通常依赖于无监视的训练方法，目的是取得对环球统计数据和结构的基本了解，而后将其用于预测。例如，在猫比狗更经常出现的环球中，生成模型或许会经常使用爪子的视觉现象来预测长胡须也是存在的，并最终得出图像中有猫的论断。在结构上，这些模型更有或许具备循环衔接（recurrent connection），特意是来自更高视觉区域或将预测信号传送到视觉系统的额叶皮层的自上而下的衔接。它们也更有或许用概率散布来示意消息，这或许造成与任何给定视觉感知关系的不确定性。

迷信家们有理由置信这两种环节都或许在大脑中施展作用。生成方法的支持者指出其直观的吸引力和与内省（introspection）的分歧性。毕竟，咱们能以心思意象和梦幻的方式发生视觉感知；假设没有任何自上而下的影响或外部环球模型，这种现象是无法能出现的。学习无关环球如何运转的普通准则也可以使生成系统更顺应新环境。

在 GAC 优惠时期，麻省理工学院的神经迷信家和西蒙斯环球大脑协作组织 (SCGB) 的钻研员 Josh Tenenbaum 在他的演讲视频中运行了图像过滤器来说明这一点：由于咱们的视觉系统知道视频可以经常使用不同的视觉效果启动过滤，例如色彩和对比度的变动，所以即使它们对咱们来说是新的，咱们还是能够识别运行了这种效果的图像内容。

判别式方法的支持者指出，它在解释神经数据方面取得了实际的成功。经过训练以对图像启动分类的深度卷积神经网络提供了一些最佳模型，用于预测照应复杂视觉输入的实在神经优惠。咱们也知道，视觉系统的前馈门路可以十分极速地成功对象分类，这与判别模型是分歧的。

这两种形式处于不同的开展阶段，很难比拟它们的好处。的判别模型可以在实践用途中解决图像，这让它比生成模型更具好处。但是，这或许更多地反映了钻研人员可以在计算机上做的事件，而不是大脑可以做的事件。目前，生成模型很难训练和构建，并且只能运转在玩具疑问上，而不是视觉系统面临的实在应战。假设没有像当天的判别模型一样长于图像解决的模型，生成方法就没无时机在神经优惠的定量预测上击败判别模型。它们之间的这种对比有点像将当天的汽车与智能驾驶汽车的对比。智能驾驶汽车或许有一些不错的配置，但假设你当天须要到处奔走，它们不会有太大协助。

「归根结底，你必需有一个模型来测试，」麻省理工学院的神经迷信家和 SCGB 钻研员 Jim DiCarlo 说。在 GAC 优惠中，代表判别一方的 DiCarlo 展现了在指标识别上训练的判别模型预测神经优惠的弱小才干。「一旦有人建设了一个新的图像计算模型，只要过后试验数据才干用来判别该模型相关于其余模型的准确性。」

在某种水平上，这从工程的维度缩小了关于生成方法与判别方法的争执。即使生成方法具备很多直观的踊跃意义，钻研人员依然须要让它们在通常中施展作用，以便与大脑优惠启动大规模比拟。目前，它们还不能。但生成模型也并不总是处于劣势。鉴于其种种特性，尤其是它们在没有太多标志数据的状况下启动训练的才干，机器学习钻研人员宿愿它们在未来变得有用。

「关键的是，咱们不要将咱们以为容易或如今可以做的事件，与大脑可以做的事件一概而论。」罗切斯特大学的神经迷信家 Ralf Haefner 在优惠中说。

正如 GAC 小组成员指出的那样，许多模型并不齐全适宜某个类别或其余类别。循环判别模型是存在的，一些生成模型也可以很快，诸如此类。哥伦比亚大学的神经迷信家 Benjamin Peters 在讨论中说，强迫让大脑被统计学家和工程师定义的盒子所框住是有危险的。「咱们不应该过于刻板，而应该从算法中吸取灵感。」

例如，视觉系统可以经常使用判别组件来成功极速和轻松的视觉感知，但仍蕴含生成元素以成功更深层的配置。或许，一个内置的生成模型可以应用它对环球的预测，来协助为大脑的判别局部提供训练数据。哈佛大学的神经迷信家 Talia Konkle 在她的演讲中主张抵赖感知和认知之间的分别，感知是一种判别环节，而认知是一种更具生成性的环节。

一些混合方法在机器学习畛域曾经很盛行。例如，在对比学习这种训练方式中，网络学习对相似的事物启动分组（例似乎一图像的不同剪裁片段），并区分不同的事物。这种方法具备生成组件 —— 训练不须要显式的指标标签，它创立的示意可以捕捉数据中少量的关系统计消息。同时，它也能很好地运行于判别模型的典型前馈结构。它确实学会了区分相似和不同的图像。

鉴于这些模型或许属于同一个范围，一些钻研人员质疑关注二元划分能否无心义。「这些真的是咱们想要收敛的项吗？」DeepMind 的 Kim Stachenfeld 问道。迷信家和工程师们抵赖，生成式解决和判别式解决之间的明白区分关于构建一个有效的系统来说并不是必需的。这种区分也不是了解大脑所必需的。「假设你以为这是一个非此即彼的疑问，那你就错失了重点，」Kriegeskorte 说。「我不确定 10 到 20 年后咱们能否还会在这种二元划分方法中思考这个疑问。」

GAC 的局部目的是探求判别式与生成式模型之间的分歧，以此作为推进该畛域向前开展的一种手腕。

Stachenfeld 以为，这种尝试是有用的，行将视觉系统的方法组织到两个营垒中，而后「看看还剩下什么」，从两个营垒之外的物品可以看出这个畛域还须要什么样的新术语和新想法。其他人也以为，这次讨论有助于说明哪些特色关于每种类型的建模方法是真正必要的，以及如何在大脑中思考每种思绪的证据。Kriegeskorte 指出，在经常使用这些模型的术语时，他如今「防止了过去经常犯的愚昧失误」。

这些概念上的提高能否关键？真正的考验将是它们对试验的影响水平。Kriegeskorte 示意，试验设计是一个很难取得真正停顿的畛域。

加州理工学院的神经迷信家和 SCGB 钻研员 Doris Tsao 提出了一种试验途径：分别神经系统的生成组件，并在没无关于环球形态的前馈输入的状况下钻研其对神经优惠的影响。先前对胼胝体（衔接左右大脑半球的横行神经纤维束）病变患者的钻研提供了一些揭示。在两个半球之间通路的一局部被切断的状况下，钻研人员经过左眼向右半球展现「骑士」之类的词，会造成患者（借助左半球反应衔接的影响）形容骑士的视觉场景，即使没有任何视觉抚慰或无看法地看法到这个词。Tsao 以为，在生物身上启动的相似试验可以协助确定自上而下的生成门路，这些门路担任让人联想到这种图像。但是，关于生成系统的人工隔离能否有助于说明其在反常状况下的配置，GAC 介入者存在分歧。

大少数介入者都赞同须要更多关注大脑生成才干的试验。宾夕法尼亚大学的神经迷信家和 SCGB 考查员 Nicole Rust 提出了钻研视觉预测的论点，例如预测视频中接上去会出现什么的才干。DiCarlo 说，遭到生成解决好处的启示，他计划做更多的试验。

在接上去的一年里，该小组将继续讨论推进钻研的详细步骤，并经过出版物和优惠与更宽泛的社区分享他们的停顿。