84秒跑通代码 最强AI程序员砸饭碗 像人一样思索！团队仅5人

继Devin之后，又一个 AI软件工程师 被刷屏了——

它叫，号称目前 地表最强 ，曾经可以像人一样思索和执行了！

那么这个“地表最强”，究竟强到什么水平？

先来看下 评测分数 。

在威望榜单SWE-Bench中，Genie以处置了疑问的效果夺得榜首。

（SWE-Bench是一个用来评价大模型处置事实中软件疑问的基准。）

而这个效果堪称是遥遥上游第二名19.27%，解锁了 优化SOTA的最大增幅——57%！

至于Genie的 实践效果 ，用团队的话来说就是：

首先，你可以用4种模式让Genie开局上班，区分是揭示词、GitHub Issue、Linear Ticket或许API。

以处置GitHub Issue为例，先喂给Genie一个repo的链接，它就开局 智能解析疑问 了：

Genie会 智能迭代思索 假设想要处置这个疑问它都须要哪些文件，直到它感觉找到了自己满意的为止：

紧接着，它将对疑问做一个 智能迭代剖析 的环节：

而后Genie就开局“唰唰唰”地 智能写+跑代码 了：

假设运转代码环节中产生bug，Genie会只针对出疑问的中央再重复剖析、写代码和运转的环节，直至跑通为止。

而整个环节，仅仅耗时 84秒 ！

用团队的话来说：

但更令人意想不到的是，Genie面前的团队—— Cosine，才仅仅5人 。

而且CEO Alistair还发文感谢OpenAI：

那么Cosine团队，终究是如何打造Genie的呢。

最强AI工程师是如何炼成的？

Genie的重要特点，是能够模拟人类工程师的认知环节、逻辑和上班流。

为做到这一点，Genie团队泄漏过去一年搜集了一个蕴含实在人类程序员开发优惠的数据集。

其中不只经常使用了效果剖析、静态剖析、自我对弈、逐渐验证等方法，还用到了基于少量标志数据训练的AI模型。好处是，当基础模型才干优化时，它们能够提取的数据品质也会相应提高。

最终Genie 经常使用该专有数据启动训练 。

数据集中编码了人类推理的完整环节，包括完美的消息溯源、增量常识发现，还有基于软件工程师实践上班案例的逐渐决策环节。

Genie的推理环节包括 布局、检索、代码编写和代码运转 四个重要步骤，打破了其它AI工程师依托在基础模型之上减少网页阅读器、代码解释器等额外工具的限度，能够像人一样处置多样化的、高度情境的、前所未见的疑问。

这种训练方法，让网友们立刻想到，之前Karpathy也提出的相似想法：

除此之外，Genie训练中还引入了 自我改良机制 。

初始训练数据多为可反常运转的没有失误的代码，造成Genie造成难以应答失误状况。为处置这个疑问，团队经常使用初代版本的Genie生成蕴含失误的分解数据，而后用这些数据训练下一版模型。

详细来说，经常使用旧版本Genie提出处置打算，假设处置打算失误，就应用把握的义务最终形态来教它从形态到达正确形态。

始终重复这一环节，Genie提出的初始处置打算逐突变得更准确，在少数状况下能间接给出正确答案，即使出错也只要在数据集中作较少的批改。

Genie才干优化的另一大关键，在于OpenAI提供的大模型允许。

团队示意，最后开发Genie时，只能访问微调16-32k范畴内的短高低文模型，他们用这些模型启动了少量早期开发，用超1亿token的数据训练模型，只管发现设计的架构有必定长处，但从基本上受限于模型在特定期间内可以处置的消息量。

尝试了各种紧缩/分块方法后，惟一的处置方法就是经常使用更大高低文的模型。

OpenAI提供了长高低文模型允许，最新版本的Genie经过了数十亿token的数据训练。

团队以为，相比超参数调整和数据量，数据的品质才是关键。因此他们还在数据混合方面启动了少量试验，包括言语、义务类型、义务长度等多个维度，以下是训练Genie的不同编程言语数据的占比：

还有不同类型实例的数据占比：

只要5团体的团队

正如咱们在上文提到的，Cosine这个初创团队人数目前仅仅为5人。

在官方的引见中，他们也十分间接的将自己描画为：

从引见来看，成员有的是从独角兽企业出身，有的领有治理世界团队的阅历，甚至还有从8岁就开局编程的。

但Cosine最后成立之际是仅有3人，他们的指标是想 把人类推理这件事儿给搞明确 。

值得一提的是，团队成员中还有一位是华人，，是Cosine的联结开创人，在2021年登上过福布斯30 under 30。

除此之外，关于Genie自身，CEO Alistair还示意：

嗯，不得不说，大模型又罪恶了。

Genie目前是可以放开Waitlist了，感兴味的小同伴可以戳文末链接~

最后，附上完整字幕翻译的官方视频：

Waitlist地址：​​ ​​ ​

原文链接:​ ​​ ​