咱们远没预备好 我为什么分开OpenAI AGI将至 六年元老发离任长文

OpenAI的「员工潜逃」还没有完结。

近日，OpenAI又有一位6年元老、钻研主管Miles Brundage宣布长武官宣离任，并详细解释了自己为何「出奔」。

作为一家年轻的AI独角兽，成立于2年的OpenAI如今刚刚9岁，因此在公司待了6年之久的Brundage足以被称为「元老」，见证了OpenAI如何一路坎坷、筚路蓝缕地走到当天。

因此，分开OpenAI对他来说并不是一个容易的选择。然而为了有更多时期钻研自己以为关键的课题，更独立、自在地宣布观念和作品，Brundage选择转而参与（甚至自己开办）非营利组织，将重点放在AI政策钻研和提倡上。

Miles Brundage本科毕业于乔治华盛顿大学，本科时期担任过美国动力部的特意助理，之后返回亚利桑那州立大学攻读博士，钻研方向为科技的人类和社会维度，博士前时期曾在牛津大学担任AI政策钻研员。

2018年，Miles Brundage参与了刚刚成立3年的OpenAI担任政策方面的钻研迷信家，之后又在2021年升任钻研主管，目前是AGI预备上班的初级顾问。

为何分开OpenAI

总体来看，Brundage的离任是宿愿从行业外部而非外部影响AI的开展，这与往年Geoffrey Hinton分开谷歌的要素截然不同，详细有如下几个思索要素：

本职上班曾经占去了简直所有的时期，因此Brandage觉得很难从事自己以为关键的钻研课题。甚至在某些状况下，身处行业之外时，从事这些钻研能更有影响力和压服力。

而且，OpenAI目前曾经如此有目共睹，成绩颁布前就须要从许多不同的角度启动审查，以致于无法宣布某些主题的文章。

但值得留意的是，Brundage并不是齐全推戴OpenAI在出版物审查方面的立场，他以为行业中存在出版限度是正当的，他自己也协助编写了OpenAI政策的几个迭代版本，但公司目前施加的限度确实曾经太多了。

假设选用成为某个组织的一局部，并且每天都和那里的共事们亲密协作，你就很难对这个组织坚持公正。

Brundage示意，他在剖析中尽力谋求公正，但依然会有成见的存在。而且在OpenAI上班这件事自身，就会影响到外界如何看待自己的观念和钻研。思索到财务利益上的抵触，人们有理由质疑来自行业的政策想法。

在无关政策的对话中，有更多独立于行业的声响至关关键，而Brundage方案成为其中之一。

从入职至今，Brundage以为自己作为「AGI预备形态初级顾问」的上班曾经成功了大局部。

「AGI预备形态」（AGI Readiness）关键分为两种：一是OpenAI要预备好治理日益弱小的AI才干，二是整个环球也要预备好有效治理AI才干，包含经过监管OpenAI和其余公司。

关于前者，Brundage曾经向他的担任对象——OpenAI的高管和董事会——详细引见了他以为OpenAI须要做什么，以及差距在哪里；而关于后者，他以为自己在OpenAI外部能够愈加有效。

虽然失去了一些在OpenAI施展影响力的时机，但Brandage宿愿在更大水平上影响整个生态系统。

AGI，咱们都没预备好

Brundage以为，关于行未来到的AGI，OpenAI或任何其余的前沿试验室都还没有预备好，这个环球也还没有预备好。

但须要明白的是，他不以为这种「没预备好」的形态与OpenAI指导层的申明相抵触；同时他也暗示，虽然距离理想的规范存在相当的差距，然而咱们仍可以在关系时期点步入正规，为此Brundage将在余下的职业生涯中努力于人工智能政策。

科技公司和这个环球能否走上了AGI预备的正规，是一个复杂的函数，取决于安保和保证方面的文明如何随着时期的推移而施展作用、监管如何影响组织的处罚措施、各种无关AI才干和安保方面艰巨的理想，以及各种其余要素。

此处，Brundage特意褒扬了OpenAI最近新参与董事会成员的选择，新吸纳的成员包含 ，这都是朝着正确方向迈出的一步。

顺便一提，Brundage示意，「AGI」这个术语承载了太多意义，它如今更多地暗示着一种二元思想模式，而不是实践意义，因此有必要廓清一下，此处的「为AGI做好预备」，指「预备好安保、牢靠且有益地开发、部署和治理才干日益弱小的AI系统」。

最近，他和团队正在空虚OpenAI提出的AGI五级框架，不久后或许会宣布一篇正式的论文。这个框架曾被彭博社披露，引来了不少争议。

虽然Brundage对AI政策抱持着审慎和批评的态度，但关于AGI前景的预测，他确实称得上是一个「技术失望主义者」，观念与硅谷的风投大佬Khosla十分分歧。

他以为，在未来短短的几年内，人工智能很或许能够成功足够的经济增长。假定咱们能制订出适当的政策来确保偏心调配，人类就能成功高生存水平的提早退休。

但在此之前的短期时期中，AI很或许会抢走一些迫切须要上班的人的时机，尤其是那些可以远程成功的、容易智能化的义务。

但理想是，人类最终应该解脱为营生而上班的义务，这也为构建AI和AGI提供了最强有力的论据之一。从久远来看，有些人或许会继续上班，但不会像如今这样有如此迫切的处罚要素。

一个「后上班环球」（post-work world）的危险之一就是文明的停滞（比如电影「机器人总发动」所展现的），但咱们目前还没有在政治、文明或其余方面为此做好预备，因此须要更多的思索、答辩和政策探讨。

2008年电影「机器人总发动」（WALL-E），由皮克斯上班室制造、迪士尼出品

很多人都描画过「AI造福人类」的前景，这些形容仿佛是出于好心而非诡计论。但目前存在效率低下的疑问，很大水平上是由于民间社会和政府的技术专业常识无余，以及缺乏良好的规范和通常基础。

例如，关于出现的疑问，咱们能否应该希冀市场机制给出处置方法？什么时刻应该构建定制化、运行范围狭窄的AI处置方案，什么时刻应该提高通用AI系统的才干来处置？在各种状况中，正确的方法是继续补足现有的技术，还是发明全新的技术，等等。

要不要在OpenAI上班

「要不要在OpenAI上班」，这个疑问听起来有点凡尔赛，可以类比下「斯坦福和MIT该选哪个」。

但假设屏幕前的你拿到了offer正在纠结该去OpenAI还是谷歌DeepMind，Miles Brundage的阅历或许能协助你处置这个甘美的烦恼。

在OpenAI上班是大少数人宿愿能做到的最有影响力的事件之一，所以在大少数状况下，答案是必需的。

思索到每团体领有的技艺和时机不同，很难做出抽象的陈说，但有一点是确定的——OpenAI 的每一个角色，以及每团体看待上班的审慎水平都很关键，对OpenAI组织文明的每一项奉献也很关键。

在通往更弱小AI的路途上，每一次性产品的部署都会施展关键作用，比如影响行业规范，以及人们认知和监管AI的模式。

在OpenAI上班，无论是AI的安保与保证，抑或是AI才干和产品方面的钻研，施展团体的能举措用来推进AI安保都是十分有影响力的。

上方这段话，仿佛是Brundage的一段隔空喊话，写给他仍在OpenAI上班的前共事们：

「任何在OpenAI上班的人都应该仔细看待这样一个理想：他们的行为和舆论有助于组织文明，并且当这个组织开局主持极端先进的才干时，或许会发明侧面或负面的门路依赖。文明对任何组织都很关键，但在前沿AI的背景下尤其关键，由于大局部决策不取决于监管法规，而是来自公司中的人。」

正如Brundage在前文所示意的，他以为某些政策钻研最好在外部启动，AI的安保和保证上班有时也是如此。虽然OpenAI外部确实须要一些人来推进公司采取良好的政策立场，但存在独立的安保钻研也很有价值。