黄仁勋谈童年:无家可归、抽烟猖獗、到处打架
英伟达首席执行官黄仁勋在播客中与 Joe Rogan 进行了对话,重述了 2012 年向特斯拉(美股代码:TSLA)首席执行官马斯克寄芯片的往事,以及他童年在美国生活和英伟达近乎伸展的经历。黄仁勋的完整叙述如下: 2012年,在多伦多大学Jeffrey Hinton的实验室里,他的两个学生Ilya Satzkefer和Alex Krizhevsky建立了一个名为Alexnet的模型。该模型在图像识别领域的性能优于近30年来人们编写的所有计算机视觉算法。计算机视觉是真正人工智能的基础——如果你不能“看”,就让“理解”。 “他们是怎么做到的?做到了?他们买了两张 Nvidia 显卡,然后就坐火车回家了。”这两款显卡均为GTX 580,采用SLI双卡互联技术。为什么我们的显卡可以阿德斯这样做吗?因为我们从1984年开始就一直在研究一种“新的计算方式”——并行计算。传统CPU执行一步一步的指令:第一步、第二步、第三步……但我们的方法是将一个问题分解成数千个小任务,并将它们分配给数千个计算核心同时处理。使用这种方法的门槛很高,但只要你能将问题转换为我们发明的CUDA格式,你的设备就可以立即成为超级计算机。计算机图形学本身就是“简易并行计算”的一个很好的例子——屏幕上的每个像素都是自然的,彼此独立,我们可以一次计算400万个像素!因此我们将这种超级计算机技术集成到显卡中,以便游戏玩家可以用它来玩游戏。总而言之,Ilya 和 Alex 使用我们的“玩家级超级计算机”创造了震惊世界的 Alexnet。当我看到这个结果后,我意识到:这不仅仅是计算机视觉技术从逻辑上来说,这东西基本上就是一个“通用函数逼近器”!什么是通用函数逼近器?当你上学的时候,老师给你一个黑盒子,里面藏着一个函数f(x)。如果输入X,就会输出相应的结果。传统编程需要您自己推导并编写函数公式,例如牛顿第二定律 F = MA。这个问题可以通过将公式写在程序中来解决。但深度学习完全不同——你甚至不需要自己写公式!你只需要给它大量的“输入→输出”样本,它就可以自己“学习”相应的函数公式。你今天可以学习牛顿定律,明天可以学习麦克斯韦方程组,后天可以学习薛定谔方程……只要你能提供足够的输入和输出样本,它几乎可以学习任何东西。当时我们静下心来想:“等一下,这东西的用途不只限于我ge认可吧?它可以解决‘世界上所有的输入输出问题’!还有整个宇宙的运行规则,不是吗?它是由无数的输入和输出关系组成的?”那一刻,我们知道:这是人工智能真正爆发的起点。事实上,当时还有很多重大问题需要解决。比如,我们需要证明这项技术真的可以“规模化”并应用于巨型系统。所以,这款 GTX 580 SLI 就是带来深度学习《迷航》的“革命性计算机”。当地球人启动曲速引擎时,瓦肯人应该已经被注意到了。如果没有看到那道闪光,他们就无法来到这个世界,而接下来的一切也不会发生。如果我没有注意到那一刻,如果象征堕落的“光”反抗了,如果我们亲眼目睹了我们的眼睛,而不是亲眼目睹了那些眼睛,那么分析和推理就结束了。ng:这是一项“研究”。这样一来,要实现这个目标还需要很多年的时间,但是现在hiunsupported学习已经成为现实,人工智能可以自主学习。为什么人工智能要实现自主学习就对了。当这两个基本概念同时实现的时候,我们就考虑过把所有的资源都投入到这项技术上。它将帮助人类解决很多以前没有解决过的问题。那一年是2012年,到了2016年,我真正建成了世界上第一台超级计算机。黄仁勋给马斯克的设备叫DGX Spark,第一代DGX-1的价格高达30万美元,光是研发费用就花费了nvidia数十亿美元,它不再是简单的双卡SLI连接,而是轻松连接8个当时最强大的GPU。 “高当我在 GTC 大会上第一次向公众展示 DGX-1 时,全场鸦雀无声,没有人明白我在说什么。当时我和马斯克已经认识他很长时间了。我们帮他开发了 Model S 和 Model 3 的车载电脑,还打造了第一代全自动驾驶(FSD)电脑。DGX-1 发布后,全球没有收到一单订单,也没有人当我们围坐在壁炉旁聊天时,他突然说:“我有一个非营利组织,可能真的需要这样一台超级计算机。”我一听,心就沉了……这是一个价值数十亿美元开发的产品,每台售价 30 万美元,但第一个客户竟然是一个非营利组织?黄仁勋的传奇一生:他 9 岁就住在美国。他两次靠着2美元濒临破产。00为员工买书拯救公司。他在研发上花费了数十亿美元,但没有人关心。只有肌肉下了命令。我亲手组装了第一台 DGX-1。收拾好后,我开车到了旧金山,送到了Openai当时的小办公室。那是在二楼,一个比你现在所在的房间更小的房间,里面住着彼得·蒂尔、伊利亚·萨茨克夫和其他一群人。那是OpenAi的起点,那一年是2016年。DGX-1的计算能力是1 Petaflops(每秒1万亿次浮点运算)。九年后推出的 DGX Spark 也具有 1 Petaflops 的计算能力,但只有一本书大小,售价仅为 4000 美元。这就是技术进步的速度。 1993年NVIDIA成立时,我们的目标是开发一种新的计算架构来解决普通计算机无法克服的问题。但问题是:我们的“杀手级应用”在哪里?全部存在当时的应用程序可以用普通CPU来处理,否则这些应用程序就不会被开发出来。我们写了一份当时看来“不可能”的使命宣言,但在 1993 年我对此一无所知,只是觉得它听起来很酷。那时《毁灭战士》和《地震》还没有问世,约翰·卡姆还没有发明它,它是一款第一人称射击游戏。我专程去日本找到了世嘉,因为当时只有街机才有真正的3D游戏——比如《VR无双》《美国梦游》。这些街机中使用的 3D 芯片实际上是从军用飞行模拟器中提取出来的,而且非常昂贵。我想知道:我们可以将这种级别的 3D 图形集成到家用计算机中吗?于是我们和世嘉签订了人生第一份大合同:“你负责把街机游戏移植到电脑平台上,我们帮你开发下一代游戏机的芯片。”这笔钱救了英伟达的命。结果,两年后经过研发,我们发现我们选择的三种主要技术路线都是错误的:别人用三角形构建3D图形,而我们用二次曲面;其他人使用Z-buffer技术来自动排序图形层次结构,但我们允许程序手动排序;其他人使用逆向纹理映射技术,但我们使用正向纹理映射……三个最关键的技术决策都错了。到了1995年中期,我们已经是一个“起步最快但每场比赛都输了”的失败者。当时,硅谷大约有50家3D显卡初创公司。他们都选择了正确的技术路线,但我们却惨败。该公司濒临破产,仍欠世嘉开发主机芯片的任务。我飞往日本会见了世嘉社长入京庄一郎。此时的我已经33岁了,满身痘痘,瘦得像笋子。我对着这位白发苍苍的老人说道:“我想告诉你一个坏消息:我们向您承诺的技术是无法实现的。他想了两天,然后回答我:“我会投资。”原因很简单,“只是因为我喜欢年轻时的你。”如果他用 500 万美元购买 NVIDIA 股票,现在可能价值 1 万亿美元,对吗?不幸的是,英伟达上市后,他们卖掉了所有股份。当时,该公司的市值仅为500万美元。我们还不知道技术怎么样,公司里也只剩下几个人了。我去书店买了硅谷图形公司(SGI)的三本3D图形技术“圣经”,分发给三位架构师:“去了解这些书,然后我们就能拯救公司。”结果他们看完书后,把通用的SGI技术方案全部拆了,只保留了“游戏领域需要的一小部分”,把这些功能直接硬编码到了芯片里。这样一来,一块几百块钱的显卡rs的图形处理速度相当于百万美元的SGI工作站。这就是现代 GPU 的起源。我们还做出了一个重大决定:不追求“丰满度”,“满足所有3D应用的需求”,我们只专注于一件事——游戏。我们消除了 CAD 设计和飞行模拟器的所有复杂性,并将所有资金投入到“游戏玩家看重的图形质量”上。这就是 GeForce 显卡的诞生。后来我们想开发救命芯片riva 128,但是公司的资金已经快耗尽了。听说有公司开发了一个“硬件模拟器”,可以让你把驱动程序完全运行在模拟器里,确认没有漏洞后,再送到芯片厂流片。我们花了公司剩余资金的一半——50万美元——买了这个模拟器——但对方却说:“我们公司破产了,仓库里只剩下最后一台了。” “购买这个模拟器后,我们的芯片“一举成功流片”,这种“先在模拟器中验证”的流程,最终成为全球芯片公司的标准操作流程。芯片流片当天,我给台积电创始人张忠谋打电话:“我想直接量产这款芯片,相信一定会成功。” “张忠谋选择了相信我、支持我。Riva随着128显卡的诞生,NVIDIA成为历史上营收最快达到10亿美元的公司。当时我总感觉整个世界都在快速旋转,完全失控。即使我躺在床上,我仍然感觉我的世界在旋转,我的心里充满了焦虑。现在,33年后,我每天早上都有这种感觉。我对失败的恐惧并没有离开我。因为我不贪婪,我只想在公司和我们的团队中生存下去,我每天醒来的第一件事就是检查数千封电子邮件,包括感恩节和圣诞节。“假期”的定义是“和家人在一起”,但即使我在度假,我仍然会工作。我的孩子们也在NVIDIA工作,他们每天也很忙碌。我们家似乎都有“勤奋基因”。当我9岁、弟弟11岁的时候,父母把我们从泰国送到美国(泰国发生政变,街上到处都是坦克)。后来,叔叔帮我们找到了肯塔基州最贫困的县之一。有一个寄宿学校叫奥奈达浸信会学院。这是一所为“问题儿童”和国际学生开设的寄宿学校。学校100%的学生抽烟并携带刀具。我的室友今年 17 岁,身上有刚缝合的刺伤。我9岁时的工作是打扫100个男生宿舍的浴室。该地区现在是美国阿片类药物危机的中心。当时,它是全国最贫困的县,现在仍然如此。打结的方法是使用盒式磁带录音机。每个月我们都会记录“这个月我们做了什么”并带回泰国,而我们的父母则记录他们的话并带回。就这样,我们整整两年没有听到父母的声音了。我还在录音带上兴奋地说:“爸爸妈妈!今天我们去了一家很棒的餐厅,整个餐厅闪闪发亮,就像未来世界一样。食物很合我的口味,汉堡也太好吃了!” - 那家餐厅实际上是麦当劳。这就是我的美国梦。我是实现美国梦的第一代移民。很难不爱这个国家。 “我坚持开发CUDA技术,导致公司股价暴涨,市值一度只有2到30亿美元——因为加入cuda功能,显卡成本翻倍,但没有人准备买。但如果我们明明相信这是未来的方向,却选择什么都不做,那么我们会后悔一辈子。”作为重新结果,CUDA技术彻底改变了世界。很多人认为成功人士每天都过得很幸福,但事实并非如此。成功之路充满了悲伤、痛苦、羞耻、怀疑和嘲笑。但“忍受苦难是继续这段旅程的唯一途径”。我今天所拥有的所有感激、自豪和珍贵的回忆都是从痛苦的经历中诞生的。
特别声明:本文由网易自媒体平台“网易号”作者上传发布,仅代表作者观点。网易仅提供信息发布平台。
注:以上内容(包括图片和视频,如有)由网易HAO用户上传发布,网易HAO为社交媒体平台,仅提供信息存储服务。