英伟达GPU一战成神！黄仁勋押注人工智能 建起万亿美元显卡帝国

从神经网络AlexNet、到ChatGPT，再到生成式AI的大迸发，英伟达的GPU功无法没。

在这场AI淘金热中，英伟达的市值水涨船高，成功进入万亿美元俱乐部，成为环球第6大市值最高的公司。

若说英伟达的成功面前，必定离不开这位灵魂人物——黄仁勋。

人人皆知乔布斯、盖茨等科技凡人的故事，而不时不情愿出头出面的老黄，除了一身皮衣，更多的教训鲜有人知。

这次，纽约客的最新采访深挖了老黄守业历程、治理形式、以及如何率领英伟达走向成功的环节。

老黄早年那些事

黄仁勋出世于1963年的台湾，九岁时，他和哥哥被送往美国，在肯塔基州的奥奈达浸信会学院（ Oneida Baptist Institute, in Kentucky）学习。

黄仁勋和一个17岁的室友住在一同，他教室友识字，作为替换，室友教他卧推。每天早晨睡觉前，黄仁勋都要做一百个俯卧撑。

由于年龄太小，黄仁勋不能在这所学校上课，于是他去了左近的一所公立学校。

事先，校长向大家引见了这位身体高大、留着长发、操着浓重口音的亚洲移民。但是，也正由于这些特质，让黄仁勋饱受同窗的霸凌。

几年后，黄仁勋的父母获准进入美国，定居在俄勒冈州，兄弟俩与父母离散。

黄仁勋高中时效果优秀，是全国排名靠前的乒乓球静止员。他参与了学校的数学、计算机和迷信俱乐部，跳了两级，16岁就毕业了。——但是他也示意「我没有女好友。」

起初，黄仁勋进入俄勒冈州立大学，主修电子工程。

在入门课上，他的试验伙伴是Lori Mills，仔细、呆萌、有着一头棕色卷发。

据黄仁勋回想，事先电子工程专业有250个在校生，大略只要三个女生。男生们争相吸引Mills的留意，黄仁勋感觉自己处于劣势。「我是班里最年轻的孩子，看上去只要12岁左右」。

——但是，每个周末，黄仁勋都会给Mills打电话，缠着她一同做作业。

「我想给她留下深入印象，不是由于我的长相，而是由于我成功作业的才干很强。」

做了六个月的功课后，黄仁勋鼓起勇气约她进来。她接受了约请。

毕业后，黄仁勋和Mills在硅谷找到了一份微芯片设计师的任务——「她实践上比我挣的多」。

起初两人结婚了，几年后，Mills分开了任务岗位，去抚养他们的孩子。那时，黄仁勋曾经开局运营自己的部门，早晨则在斯坦福大学读钻研生。

3人守业，缘起一家餐厅

1993年，他与Chris Malachowsky和Curtis Priem两位资深微芯片设计师独特创立了英伟达公司。

Malachowsky和Priem宿愿设计出一种图形芯片。最后他们给公司起名叫NVision，但起初得悉这个名字曾经被一家卫生纸制作商经常使用。

黄仁勋倡导经常使用英伟达，取自拉丁文i英伟达，意为「妒忌」。他选用丹尼餐厅（Denny's）作为组织业务的场合，是由于这里比家里宁静，而且有廉价的咖啡。

他曾于1980年代在俄勒冈州的连锁餐厅任务过。「我发现，在逆境中我的思想最生动。」

黄仁勋喜爱电子游戏，他以为市场须要更好的图形芯片。那时，艺术家们开局用被称为「基元」的外形来组装三维多边形，而不是手工绘制像素，这样做省时省力，但须要新的芯片。

英伟达的竞争对手经常使用三角形作为基元，但黄仁勋和同伴选择改用四边形。——不过起初证实这是一个失误，差点毁了公司。由于在英伟达发布第一款产品后不久，微软宣布其图形软件将只允许三角形。

由于资金充足，黄仁勋选择回到传统的三角形方法。1996年，他裁掉了英伟达一百多名员工中的一半，而后把公司残余的资金押在了未经测试的微芯片消费上，他不确定这些微芯片能否能成功。

——「成功和失败的概率五五开，但无论如何咱们都要开张了」。

当这款名为RIVA 128的产品上市时，英伟达的资金仅够支付一个月的工资。但这场赌博获取了报答，英伟达在四个月内卖出了一百万台RIVA。

黄仁勋激励他的员工带着悲观的心情继续出货，在的日子里，每逢面对员工演讲，他的收场白就是「咱们公司还有三十天就要开张了」。这句话至今仍是公司的非正式座右铭。

位于圣克拉拉（ Santa Clara）的英伟达总部核心有两座渺小的修建，每座修建都呈三角形。从沙发、地毯到小便池的防溅罩，整个大楼外部都是这种外形的缩影。

每栋大楼的顶层都有一个酒吧，公司激励员工把办公室当作灵敏的空间，在这里用餐、编码和社交。假设员工在会议桌上用餐，AI可以在一小时内派遣清洁工启动清算。在股价下跌之前，英伟达就被评为美国最佳任务场合之一。

在规范计算机体系结构中，大局部任务由被称为中央处置器（CPU）的微型芯片成功。几十年来，CPU的关键制作商不时是英特尔，英特尔曾屡次试图迫使英伟达分开市场。

黄仁勋描画英伟达与英特尔之间的相关是「Tom and Jerry relationship」——每当他们接近，咱们就拿起芯片跑路。

对此，英伟达驳回了另一种方法。1999年，公司在上市后不久就推出了名为GeForce的图形卡。

与通用CPU不同的是，GPU把复杂的数学义务合成成小的计算，而后用并行计算的方法一次性处置完。CPU的配置就像一辆送货卡车，一次性送一个包裹；而GPU则更像一支摩托车队，在市区中穿越。

GeForce系列取得了成功。《Quake》（《雷神之锤》）系列视频游戏推进了它的盛行，该游戏经常使用并行计算来渲染玩家可以用榴弹发射器射击的怪物。

《Quake》系列还推出了多人对战的形式，PC游戏玩家为了取得长处，每次更新都会购置新的GeForce显卡。

2000年，斯坦福大学计算机图形学的钻研生Ian Buck将32块GeForce显卡衔接在一同，经常使用8台投影仪玩Quake。——这是第一台8K分辨率的游戏机，它占据了整面墙。「It was beautiful.」

GeForce显卡附带了一种叫做「着色器」的原始编程工具。在美国钻研机构darpa的资助下，Ian Buck黑进了着色器，访问了上方的并行计算电路，将GeForce变成了一台低老本的超级计算机。

随后不久，Ian Buck就开局在英伟达下班了。

自2004年以来，Buck不时担任英伟达超级计算软件包（CUDA）的开发任务。黄仁勋的愿景是让CUDA能够在每一块GeForce显卡上运转。

在Buck开发软件的同时，英伟达的配件团队开局在微芯片上为超算调配空间。英伟达的首席芯片工程师Arjun Prabhu将微芯片设计比作市区布局，芯片的不同区域专门用于执行不同的义务。

2006年底，当CUDA发布时，华尔街的反响是惊惶。黄仁勋将超级计算带给了群众，但群众并没有体现出他们须要这样的东西。

硅谷盛行播客《Acquired》的掌管人Ben Gilbert示意，英伟达花了数十亿美元瞄准学术和迷信计算的一个不起眼的角落，而这在事先并不是一个大市场。

到2008年底，英伟达的股价下跌了70%。

黄仁勋以为，CUDA的存在将扩展超级计算畛域。但这一观念并未获取宽泛认同。

2张英伟达显卡，1个CUDA架构，引爆神经网络

20世纪初，提起AI，齐全是一个冷门的学科。人工智能在图像识别、语音识别等畛域的停顿不时止步不前。

在这个不受欢迎的学术畛域中，经常使用「神经网络」（受人脑启示的计算结构）来处置疑问，更是没有获取许多计算机迷信家的青眼。

事先，深度学习钻研员Bryan Catanzaro劝止老黄，「不要钻研神经网络。由于事先人们以为，这曾通过期了，而且不起作用」。

Catanzaro还将继续钻研神经网络的钻研人员，一致称为「荒野中的先知」。

这其中的一位先知，便指的是从多伦多大学传授退休、有AI教父之称的Geoffrey Hinton。

2009年，Hinton的钻研小组经常使用英伟达的CUDA平台，训练了一个神经网络来识别语音。

没想到，这项钻研结果的品质，让Hinton自己感到十分惊讶，并在当年的一次性会议上汇报了却果。而后，他被动咨询了英伟达。

「我发了一封电子邮件说：『听着，我刚刚通知上千名机器学习钻研人员，他们应该去购置英伟达显卡。你能收费送我一块吗？』」。

但是，英伟达最后的回复只要一个字「No」。

虽然遭到了冷清，Hinton还是激励自己的在校生经常使用CUDA，包含自己引以为傲的高徒Alex Krizhevsky。

2012年，Krizhevsky和钻研同伴Ilya Sutskever在估算弛缓的状况下，购置了2张GeForce显卡——GTX 580 GPU。

而后，Krizhevsky开局在英伟达的并行计算平台上，训练视觉识别神经网络——AlexNet，一周内就向其输入了数千万张图像。

Hinton回想道，「他的卧室里那两块GPU不时嗡嗡运转不停，可想而知，他父母必定支付了相当可观的电费」。

随后，Krizhevsky和小同伴一同带着AlexNet参与了一年一度的ImageNet大赛，一举夺得冠军，第一个深度卷积网络模型就此降生了。

GeForce显卡的才干，让Ilya和Krizhevsky双双感到惊讶。

其实，2012年早些时刻，谷歌钻研人员吴恩达、Jeff Dean曾训练了一个可以「识别猫」的神经网络。

谷歌这项任务经常使用了大约1.6万个CPU，而Sutskever和Krizhevsky仅用2块英伟达电路板就发生了「环球级」的效果。

AlexNet正确识别了滑板车、豹子和集装箱船等东西的图片

但是，AlexNet在较量中得分如此之高，以致于组织者最后疑心Krizhevsky能否以某种形式舞弊。由于神经网络在事先并不受欢迎，Ilya和Krizhevsky是惟逐一个经常使用这种技术的参赛团队。

Hinton称，「那是一种大爆炸的时辰。这就是范式的转变」。

这篇「ImageNet Classification with Deep Convolutional Neural Networks」9页神作自2021年降生以来，至今已被援用了了14万+次，成为计算机史上关键的里程碑。

Krizhevsky开创了许多关键的编程技术，但他的关键发现是，「公用的GPU可以训练神经网络，速度比通用CPU快100倍」。

Hinton补充道，「假设没有CUDA，做机器学习就会十分费事」。

随后几年内，ImageNet竞赛的每个参赛者都在用上了「神经网络」。到20世纪20年代中期，在GPU上训练的神经网络识别图像的准确率到达了96%，远远超越了人类。

过去十年来，黄仁勋在推进超级计算和GPU的遍及上取得了渺小的成功。

他示意，「理想上，它们如今可以处置齐全非结构化的计算机视觉疑问，那么接上去，你还能教它做什么？」

英伟达从图形公司，更新「AI公司」

答案仿佛是：什么都可以！

黄仁勋总结说，神经网络将彻底扭转社会，他可以应用CUDA霸占必要的配件市场。

事先，他宣布再次押注公司。

他在周五早晨收回一封邮件，「一切都将转向深度学习，咱们不再是一家图形公司。从下周一早上开局，咱们是一家人工智能公司」。

英伟达的变质，从字面上看，就是这么快。

就在黄仁勋发送那封电子邮件之时，他找到了英伟达首席人工智能钻研员Catanzaro，启动了一次性思想试验。

Catanzaro示意，「他让我构想，把英伟达的8000名员工都带进停车场，而后我可以自在地从停车场选用任何人添加自己的团队」。

H100，成大模型掘金铲

在AlexNet成功之后，危险投资人开局向AI投入大笔资金。

Andreessen Horowitz公司的Marc Andreessen在2016年示意，「咱们不时在投资许多将深度学习运行于许多畛域的初创公司，每一家公司都有效地建设在英伟达的平台之上」。

大约在那个时刻，英伟达向OpenAI的钻研小组，交付了第一台公用的人工智能超级计算机DGX-1。

黄仁勋亲身把DGX-1带到了OpenAI的办公室，是由时任董事长的马斯克开箱。

2017年，谷歌的钻研人员提出了Transforme的神经网络架构。

次年，OpenAI的钻研人员便经常使用谷歌的框架构建了第一个「生成式预训练Transformer」。

GPT模型在英伟达超级计算机上启动训练，经常使用了少量的文本语料库，并学习如何建设相似人类的咨询。

2022年底，通过多年迭代，当红炸子鸡ChatGPT终于面向群众发布。

也就是从那时起，英伟达显卡需求爆单。

其中，最强悍的DGX H100，一个重达160多公斤的金属盒子，多少钱高达50万美元，曾经缺货了数月。

DGX H100的运转速度是训练ChatGPT的配件的5倍，并且可以在不到1分钟的期间内训练AlexNet。

英伟达估量，将在23年年底前售出50万台DGX H100。

运行于神经网络的处置才干越强，其输入就越复杂。关于最先进的AI系统，或者须要数十个英伟达DGX H100。

假设这还不够，英伟达将把这些计算机像图书馆堆栈一样陈列，用价值数千万美元的超级计算设备填满数据核心。

显然，人工智能的才干没有显著的限度。

在接上去的几年里，英伟达的配件将减速退化到计算机时钟周期的速度，从而训练出各种相似的人工智能模型。

据引见，英伟达卖出的设备毛利率接近70%。

渺小的利润让一切开发AI训练配件的谷歌、特斯拉，以及初创公司都垂涎三尺。

说起来，英伟达最强烈的竞争对手是AMD。

自2014年以来，AMD不时由另一位才气横溢的工程师苏姿丰（Lisa Su）运营。自她成为公司担任人以来的几年里，AMD的股价下跌了30倍，使她成为这个时代最成功的半导体CEO，仅次于黄仁勋。

值得一提的是，老黄和苏姿丰还是亲戚相关。

黄氏治理法

老黄自己很少接受采访。他示意，「我并没有做什么特意的事，关键是我的团队的致力，我也不确定为什么我被选为首席执行官，我并没有任何特意的驱动力」。

当老黄下定决计在30岁运营一家企业的时刻，他的联创Chris Malachowsky说，「你真的不是一个好演讲者，由于你比拟外向」。

老黄示意，「我只要一个超才干——做作业」。英伟达软件主管Dwight Diercks称老黄可以在一个周末把握任何课题。

黄仁勋更喜爱矫捷的公司结构，没有固定的部门或等级制度。取而代之的是，员工每周提交一份清单，列出他们正在做的5件最关键的事件。

而他自己，每天也要写几百封回复的邮件，与员工聊天，通常仅有几句话。一位高管将这些邮件比作俳句，另一位还比作赎金票据。

老黄自己还制订了一套自己经常援用的治理格言。

在布置义务时，老黄会要求员工思考「光速」。这不只象征着极速执行;同样，员工应该思考一项义务可以成功的相对速度，而后朝着可成功的指标逆向致力。

兴许老黄最保守的决计是「失败必定分享」。

2000年终，英伟达曾出货了一款有缺点的显卡，风扇声响过大、适度生动。

但是，黄仁勋没有解雇该显卡的产品经理，而是布置了一次性会议，让经理们向几百人引见了，他们做出的每一个造成惨败的选择。

英伟达的员工们有时也会埋怨，老黄的性情出尔反尔。

黄仁勋示意，「这其实是我脑子里想的和嘴里说的不分歧。当错位很重大时，就会体现为愤怒」。

即使在他很沉着的时刻，黄仁勋的强势也或者是压倒性的。一名员工描画，「与他交流就像把手指插进电插座里」。

虽然如此，英伟达员工散失率很低。

GPU的销量暴跌，也让英伟达成为了环球算力霸主，成功进入万亿美元俱乐部。这面前离不开指导人黄仁勋的「疯狂式」的治理战略。

老黄曾示意，当你创立一家公司时，很人造地从第一性原理开局。