《黄仁勋 英伟达之芯》

NOTE

老黄的传记，详细的记录了 Nvidia 的发家之路，虽然知道 Nvidia 起飞是因为AI来着，但是从书中才知道当时上涨的那么恐怖。另外总感觉作者对于老黄是有些偏见的，特别是最后一节。

《黄仁勋:英伟达之芯》

 推荐序 从摩尔定律到黄氏定律

• 算力从贫瘠到可用，某种程度上可以决定一项划时代研究工作的命运。

• 历史从不重复，但总是押着韵脚。

 引言 他并非总是赢家，可一旦赢了就是大手笔

• 黄仁勋思考问题的方式并不像商人，更像工程师。他擅长将复杂的概念分解为简单的原则，并运用这些原则创造出卓越成果。

 第2章 职涯早期：AMD、LSI和太阳微系统公司

• 慢慢地，只有黄仁勋和少数经验丰富的工程师还记得如何手工制作微芯片。

 第3章 从餐厅里起步的Nvidia：我们做出的每一个决定都是错误的

• 列表中的下一个选择是Nvidia，也就是现在人们熟悉的英伟达。这个名字源于拉丁词invidia，意思是“嫉妒”。

 第4章 英伟达遭遇绝境：我们公司离破产只有30天

• 当戴维·柯克(David Kirk)初次踏入英伟达的办公室时，他立刻感觉到这家公司难逃失败的命运。柯克是知名的图形专家，身兼硅谷多家公司的技术顾问，几乎成了失败企业的鉴定家。

• 然而，黄仁勋的批评并不总是具有建设性，有时甚至会演变成言语辱骂

• 因此，当黄仁勋违反了这一隐含协议时，普里姆的反应就像是遭到了背叛，这或许是可以理解的

• 望着前方长长的竞争对手队伍，黄仁勋意识到处于最后一名其实相当有趣，事实上比位居中游要好。因为处于最后一名的公司可以做任何它想做的事情，它能选择别人不敢尝试的捷径。

• 此后的几年里，黄仁勋会在员工大会上以“我们公司离破产只有30天”作为开场，这句话至今仍是英伟达公司的核心信条。

 第5章 咸鱼翻身：完美的显卡TNT，承载着一个改变世界的惊天秘密

• 普里姆看到了视频游戏市场的巨大潜力，在自家卧室想出了个公司名，创建了自己的公司。然而，自1998年起，他与英伟达的成功便再无多大关联。

• “这个领域还有40家公司呢，”黄仁勋对柯克说，“但5年之后，只会剩下3家：一家领先的大公司，一家落后的公司在苦苦追赶，以及一家小公司试图颠覆前两家。”而黄仁勋，立志要成为那家领先的大公司的领导者。

• 有时，黄仁勋甚至会在他召集的高管团队会议上，谈论颠覆英特尔的可能性，要知道，当时的英特尔可是全球最具价值的公司之一。

• 台积电之所以能无比精准、高效地完成订单，要归功于其极为严格的工作文化。该公司员工形容其层级结构“军事化”，公司实行“996”工作制，即每周工作6天，每天从早上9点工作到晚上9点。

 第6章 新机器时代曙光初现：首个在游戏中超越人类的神经网络“水母”

• 随着时间的推移，分析师们学会了通过比较人类玩家的表现与电脑给出的理想结果之间的差异，来评估其技能，而非单纯通过胜负局数来判断。

• 在无限注玩法中，玩家可以下注任意金额，这使得合成数据集远大于他为限注扑克和西洋双陆棋所构建的封闭系统。达尔的无限注神经网络在处理这庞大的数据量时遇到了学习困难。

• 许多神经网络的批评者都曾是满怀希望的先驱，他们在技术初期取得过成功，却在多年后收获低于期望的结果。达尔虽未彻底沦为怀疑论者，但他的信念确实遭受了严峻考验。

 第7章 死亡竞赛：迭代，迭代，再迭代！执行，执行，再执行！

• 1999年底，黄仁勋推出了“Voodoo杀手”显卡。这款显卡被命名为“GeForce”，意为“几何力”。

• 维沃利主动联系这些评测者，告诉他们GeForce是全球首个图形处理器，或称“GPU”。尽管这个术语是维沃利自创的，但评测者们开始采用这一分类。不久之后，图形加速器就普遍被称为GPU了。

• 黄仁勋赢得了这场战斗。但他的胜利果实是获得了一群心怀怨恨的新员工。根据后续披露的法庭文件，黄仁勋在3dfx公司内部被冠以“达斯·维达”(Darth Vader)[插图]的称号。

• 这种做法导致英伟达累积了大量的“技术债务”，一再采取权宜之计，长此以往，代码的可维护性日益下降，给程序员后续工作带来诸多困扰。

• 随着加利克逐渐适应了这些权宜之计，他开始领悟到英伟达方法的可取之处。“这其中透出一种诡异的智慧：不断迭代、迭代、再迭代，执行、执行、再执行，”他表示，“在我看来，技术债务就像是幸存者的战斗伤痕。”

• “在3dfx，我们的座右铭是‘努力工作，尽情玩乐’，但在英伟达，却只有‘努力工作’。”

• 在短短15分钟内，柯克对候选人的了解程度，竟超过了他的员工在漫长的8小时结构化面试中所能获取的——而这一切，也被他的员工们看在眼里，他们逐渐学会了如何精准提问。

• 然而，那种创业的冒险精神——就是勇于接受失败，并愿意承担后果的魄力，我在他身上并未发现

 第8章 游戏玩家拯救英伟达：爸爸，你得再加把劲儿

• 2001年夏季至2002年秋季，英伟达的股价暴跌超过90%，黄仁勋的财富也随之大跌。

• 。供应商们纷纷推出带有炫彩内部照明的透明电脑机壳，让硬件之美一览无余。

• 分析其历史数据似乎并无太大助益，因为黄仁勋总是将所赚取的利润迅速再投资于那些可能颠覆计算机技术或具有高风险的技术项目。2

 第9章 “光速”之道：秘密开发CUDA，让游戏玩家为科学研发买单

• 这种新型客户的涌现，黄仁勋也注意到了。巴克提及：“我发表的系列论文获得了大家的广泛支持。接着，在2004年左右，詹森邀请我加入英伟达，正式着手开展这项工作。”

• CUDA的核心理念在于，将原本用于视频游戏的并行计算电路重新定向给科学家使用。这意味着，无须再通过处理三角形来获取宝贵的每秒10亿次浮点运算能力，整个架构正被开放以供更广泛的应用。

• CUDA的缔造者是约翰·尼科尔斯(John Nickolls)，他不仅是英伟达的工程师，还曾联合创立过数家并行计算初创公司，尽管这些公司最终未能获得成功。

• 并行计算技术的出现解决了这一问题，它并非通过提高速度，而是通过让更多的晶体管能够响应每一次的脉动去解决这一问题。与英特尔的CPU每次只能激活少量晶体管不同，英伟达的游戏GPU可以一次激活数千个晶体管。

• 为了让自己独树一帜，黄仁勋必须采用一种有悖于常规商业逻辑的策略，确保ATI无法效仿。

• CUDA核心所采用的许多理念，早已在超级计算机和专业处理器中得到应

• CUDA项目最早的工程师之一布雷特·库恩(Brett Coon)回忆道，“依我看，CUDA的天才之处就在于它让游戏玩家们为庞大的芯片研发成本买单。”

• 在CUDA发布首年，数亿GeForce用户中，愿意激活其视频游戏硬件功能，将其变身为超级计算机的连1%都不到。

• 柯克希望能够将他在着色器领域取得的成功加以延续，于是他与计算机科学家胡文美(Wen-Mei Hwu)合作，共同撰写了《大规模并行处理器编程》这本教科书，旨在推广这项技术。

• CUDA带来的最大的隐性成本，可能是它分散了黄仁勋对核心客户服务的关注。

• 黄仁勋所倡导的“光速”，是希望经理们能够设想到，在没有任何限制、一切条件都最理想的情况下，某项任务能够完成的最快速度。

 第10章 同频共振：洞悉即将降临的机遇

• 我之后把那个事件编入了飞行模拟器，”戴利以平淡的口吻叙述着，仿佛在描述他寄出的一封普通信件，“尝试了10次之后，我终于成功地在格罗顿—新伦敦机场降落，而没有掉入水中。”

• 这里的官僚主义少了很多，因为公司里每个人的生计、工作和家庭，都依赖于GPU能否按时完成。”他解释道。

• 他整合了众多图像识别应用程序（包含数个神经网络），并利用CUDA技术进行优化，以便这些程序能在英伟达的GPU上运行。接

• 在发表后的两年内，平托的论文仅被引用15次。神经网络这一研究领域备受冷落，就像三叶虫化石一样无人问津。

• 克里斯坦森观察到，颠覆性技术往往源自业余爱好者的社群。

• 这正是《创新者的窘境》一书中常被读者忽略的深层含义。此书并非讲述成功之道，而是探讨如何避免失败。克里斯坦森的作品并非为初创企业提供的行动指南，而是为陷入停滞的大公司高管们提供的破局手册。

 第11章 范式转变的时刻：AlexNet横空出世

• 这位才华横溢的计算机程序员几乎病态地厌恶受到关注

• CUDA小组有时甚至不回复辛顿的电子邮件。人们对神经网络的偏见早已根深蒂固

• 伊利亚总是能够迅速洞察到其他人需要很长时间才能领悟的事物

• 就在这时，这7位参赛者中的一位展现出了高达80%的成功率，这一成绩超出了该领域顶尖水平10%，

• 辛顿担心克里泽夫斯基的突破性贡献被忽视，鼓励他将SuperVision重命名以凸显其贡献。尽管克里泽夫斯基对此表示怀疑，但最终还是接受了建议，将SuperVision更名为“AlexNet”。

 第12章 千载难逢的机会：周五晚上做决定，周一早上我们就转型成了AI芯片公司

• 黄仁勋绝非一个卖肥皂的商人。他是一个对计算技术满怀热情的人，卡坦扎罗深信，如果谁能让黄仁勋确信并行计算和人工智能即将交会，那这个人一定是他自己。

• 但他并未因此气馁，反而开始全身心投入cuDNN的构建工作中，cuDNN是一个专为加速CUDA平台神经网络开发而设计的软件库。

• 深度学习不仅是软件的革命，而且是硬件的革命。

• 失败必须被公开。”黄仁勋是这么说的

• 黄仁勋所倡导的“光速”，是希望管理者能够设想到，在没有任何限制、一切条件都最理想的情况下，某项任务能够完成的最快速度。

 第13章 由机器引领的时代：从月球发射激光，精准击中街道上的一枚硬币

• 尽管训练成本高昂，但如果操作得当，它可以实现自我回报，正如谷歌努力展示的那样：通过利用神经网络优化其服务器网络的能耗，谷歌每年在电费上节省了数亿美元，几乎立即收回了其在AI上的投资成本。

• 2014年底，布莱恩·卡坦扎罗离开了英伟达，加入了百度，与吴恩达成了合作伙伴。“他们给我的工资翻了3倍”，卡坦扎罗耸了耸肩，但遗憾地表示，如果他当初留在英伟达，他会从股票期权中赚得更多。

• 每当遇到不理解的概念，它就会毫不犹豫地生成一些毫无意义的胡言乱语。卡帕西把这些错误称作“幻觉”。

• 他性格内向，不善言谈，并非人们理想中的合作伙伴

• “也许这只是我的个性，”他说，“但当我长时间专注于某件事情时，大约10年后，我就会开始对它失去兴趣。

 第14章 AI行业的佼佼者：不管看到什么，我总能发现其中的不足之处

• 黄仁勋之所以有所改变，是因为在3dfx的破产案中，他被迫在录像证词中朗读自己的贬损言论，从而吸取了教训。

• 苏姿丰的勇气或许更胜黄仁勋一筹，毕竟她并未选择避开英特尔这一强敌。事实上，AMD之所以能够重整旗鼓，正是得益于从英特尔手中夺取了CPU业务的市场份额，这一成就曾被分析人士视为不可能做到的天方夜谭。

• 而黄仁勋则从第一性原理出发，预见了一个由人工智能主导计算的世界。同样地，当他从第一性原理出发审视区块链的潜力时，并未预见到加密货币取代法定货币的未来。

 第15章 AI工厂：造芯片原本是为了打怪兽，我们却用它来造大脑

• 为了更好地模拟这些词汇间的关系，乌斯科雷特尝试将词汇拆解成更小的单位，他称之为“词元”(tokens)。

• 如果你手头有一块硬件，它的核心优势在于能够并行处理大量简单的计算任务，而不是按顺序执行复杂的结构化运算，那么你就应该充分利用这一统计特性。

• 因此，他灵感一闪，仿照作家使用词典的方式，为模型引入了“束搜索”功能，使其能够从多个候选词语中灵活选择。

• 出人意料的是，消融实验竟让核心Transformer功能表现更佳。沙泽尔大刀阔斧地剔除冗余代码，最终所剩无几。最原始形态的Transformer简洁至极，几乎不超过20行代码。

• GPT-2能够在没有明确训练的情况下回答新问题，这就是AI中“涌现”特性的一个例子

 第16章 全球最具价值的半导体企业：我们其实是一家软件公司

• 从黄仁勋的角度来看，神经网络并非实质性的成就；真正的成就，是他成功地将庞大的算力打包进了数据中心。

• 为了降低对英伟达的依赖，谷歌和特斯拉都研发了AI训练硬件。同时，许多初创企业也瞄准了这一市场。

• 黄仁勋并非纯粹的利他主义者。他的长远策略是通过这些免费软件，将研究人员牢牢绑定在英伟达的硬件升级周期中。

• 他说：“循环神经网络不仅难编程，而且难编译。Transformer在各方面都是一个更好的选择。”

 第17章 这个时代最重要的科技公司：AI激战中唯一的“军火供应商”

• OpenAI为了训练GPT-4，投入了超过1亿美元的资金，其中大部分是通过微软支付给英伟达的。

• 可能是人类所能探索的最后一个领域也取得了进展：利用AI来加速AI的发展。

• “AI领域正上演着一场激战，而英伟达则是这场战争中唯一的军火供应商。”

• 后来我意识到，持有世上最有价值公司的创始人股份，从定义上讲就是你能做的最佳投资。

 第19章 更多电力更大算力：如果英伟达表现不佳，整个科技界都会萎靡不振

• 对英伟达帝国来说，失望的情绪比竞争带来的风险更大。错失恐惧症(Fear of Missing Out, FOMO)引发了大量的行动——毕竟，没有哪家公司能承受得起没有人工智能战略的后果。

 第20章 地球上最重要的股票：基于愿景的运气和超乎常人的智慧

• 因为英伟达的大部分价值并非基于公司已经取得的成就，而是基于投资者对公司未来可能实现的期望。

• 遵循黄仁勋的明确指导，英伟达积极致力于招聘更多女性员工。这一努力取得了显著成效，截至2024年，英伟达的员工中女性占比略超过25%。

• “半导体行业已不再是全球化的了。”张忠谋在2023年底的一次台积电活动中对员工说。

 第21章 向理性本身发起挑战：我得保留点儿秘密

• 那些看似深思熟虑的见解，乃至精炼的格言，实际上可能只是他即兴发挥，未必认真，过后也可能忘得一干二净。

• 而到了那个时候，Gensler，你们设计的下一个建筑项目将会是免费的——没错吧？它们之所以免费，是因为你们将通过运营这些建筑来盈利，并且获得难以想象的丰厚回报。这是专门分享给你们的独家创意。”

• 我问柯浩对变形建筑的看法。“你看，我第一次见到他的时候，他在谈自动驾驶汽车，当时听着也挺疯狂的，”柯浩耸了耸肩说道，“我已经学会了不去质疑他。

 第22章 深不见底的恐惧：AI会是人类的终结者吗？

• 本吉奥、辛顿和苏茨克弗，这样一个组合实在令人不安。他们是当今被引用次数最多的计算机科学家，分别位列第一、第二和第三。三人都对人工智能可能会危及全人类感到担忧。

• “目前有99位极其聪明的人正致力于让人工智能变得更出色，但也有一位极其聪明的人正试图探明如何阻止它接管一切。”辛顿说道。

• 我设想过与某位权势显赫的高管进行视频对话，却在浑然不觉中采访了他的数字人工智能复制品。

 第23章 思考机器：唯有黄仁勋这位“代达罗斯”，才能真正洞悉这全貌

• 我觉得你找错采访对象了，”他低声嘀咕，“你现在仿佛在采访埃隆·马斯克，可我不是他。”我愣了一下，不知所措，但反应过来时已经晚了。我显然触碰到了他的敏感点。

• 他坦言，曾对我抱有厚望，如今却大失所望。我耗费了他的时间，也浪费了大家的时间；现在，整本书的策划都受到了质疑。

• 比起担忧技术会灭绝人类，高管们更害怕黄仁勋的严厉训斥。

 来自微信读书