Jim Keller:计算、人工智能、生命和意识的未来
-
原文标题:Jim Keller: The Future of Computing, AI, Life, and Consciousness | Lex Fridman Podcast #162 - YouTube
-
文章类别:访谈实录
内容整理:
- 主题:计算、人工智能、生命和意识的未来
- 嘉宾:Jim Keller,传奇微处理器架构师,被广泛视为计算时代最伟大的工程头脑之一。Jim Keller 在计算机设计领域有着深厚的造诣,曾参与多个重要的芯片项目,如 DEC Alpha、AMD Athlon、Opteron 以及 Tesla 的自动驾驶硬件等。
├── Jim Keller 的个人经历与职业发展 ├── 计算机设计与工程的哲学 ├── 软件与硬件的关系 ├── 人工智能的发展现状与未来趋势 ├── 生命、意识与人工智能的交叉点 └── 个人成长与职业建议
- 早期职业:Jim Keller 早期在 DEC 工作,参与了 Alpha 芯片的设计,这是他职业生涯的起点。他回忆了在 DEC 的时光,以及与 Jordan Peterson 的关联。
- 苹果公司:Jim Keller 在苹果公司工作期间,参与了多个重要项目,包括与 Steve Jobs 的合作。他分享了与 Steve Jobs 的互动,以及 Steve Jobs 对产品的独特见解和领导风格。
- Tesla:Jim Keller 加入 Tesla 后,参与了自动驾驶硬件的设计,他讨论了自动驾驶技术的发展现状和未来展望。
- 理论与工程的平衡:Jim Keller 强调理论和工程的结合对于设计优秀的产品至关重要。理论提供了模型和预测,而工程则是将这些模型付诸实践的过程。
- 创新与实践:他提到在计算机设计中,创新的想法很重要,但将这些想法转化为实际产品同样重要。他以分支预测为例,说明了一个好的想法如何改变整个行业。
- 简单性的重要性:Jim Keller 认为简单性是设计中的一个重要原则,简单的系统更容易理解和维护,同时也更容易扩展。
- 软件的主导作用:在软件和硬件的关系上,Jim Keller 认为软件在现代计算中扮演了越来越重要的角色。他以 JavaScript 的发展为例,说明了软件如何影响硬件的设计。
- 硬件的创新:尽管软件的重要性日益增加,但硬件的创新仍然是不可或缺的。他提到了 ARM 和 x86 架构的竞争,以及 RISC-V 的开放性对行业的影响。
- 人工智能的并行性:Jim Keller 讨论了人工智能中的并行计算问题,他指出人工智能网络与 GPU 中的并行计算有所不同,人工智能网络更像是一个图结构。
- 深度学习硬件:他介绍了 TensTorrent 公司正在开发的深度学习硬件,这些硬件旨在更有效地执行图结构的计算,与传统的 GPU 不同。
- 自主驾驶:Jim Keller 分享了他对自主驾驶技术的看法,包括 Tesla 的自动驾驶硬件和软件的发展,以及自主驾驶技术面临的挑战和机遇。
- 意识的本质:Jim Keller 探讨了意识的本质,他认为意识是人类大脑的一个复杂现象,涉及到多个层面的处理和反思。
- 人工智能与意识:他讨论了人工智能是否能够发展出类似人类的意识,以及这种意识对于人工智能的发展意味着什么。
- 大脑与计算机的类比:Jim Keller 比较了人类大脑和计算机的运作方式,指出尽管两者在处理信息上有相似之处,但人类大脑的复杂性和灵活性是当前计算机难以比拟的。
- 个人成长:Jim Keller 分享了他的个人成长经历,包括他如何克服困难,以及他的父亲对他成长的影响。
- 职业建议:他给出了对年轻人的职业建议,强调了找到自己热爱的事物、不断学习和适应变化的重要性。
- 团队建设:他还讨论了如何建立一个强大的团队,包括如何理解和激励团队成员,以及如何处理团队中的冲突。
Jim Keller 的访谈涵盖了计算、人工智能、生命和意识的多个方面,提供了对这些复杂主题的深刻见解。他的经验分享和对未来的展望为听众提供了宝贵的启示,同时也激发了对这些领域进一步探索的兴趣。
#计算 #人工智能 #生命 #意识
├── 引言和赞助商介绍
│ ├── 介绍嘉宾 Jim Keller
│ └── 感谢赞助商 (Athletic Greens, Brooklinen, ExpressVPN, Belcampo)
├── 好的设计是科学和工程的结合
│ ├── 理论与工程的关系
│ ├── 计算机设计更偏向工程
│ ├── 分支预测的例子
│ └── 奖励机制:平衡创新和工艺
├── Javascript
│ ├── Brendan Eich 与 Javascript 的创造
│ ├── Javascript 成功的原因:时机与简洁性
│ └── “做坏事比做好事快”的策略
├── RISC vs CISC
│ ├── RISC 和 CISC 架构的优缺点
│ ├── 指令集架构的演变与影响
│ └── x86 的发展历史和开放架构
├── 是什么造就了一个伟大的处理器?
│ ├── 性能是关键指标
│ └── Intel 和 ARM 的不同策略和优势
├── 乔布斯和苹果
│ ├── 乔布斯带领苹果多次转型
│ ├── 乔布斯擅长发掘人才和提出大的构想
│ └── 乔布斯的工作方式:高强度、高要求、注重细节
├── 马斯克和乔布斯
│ ├── 比较马斯克和乔布斯:工程 vs 设计
│ ├── 领导者的特质:远见、执行力、细节关注
│ └── 混乱与秩序的关系:适当的混乱激发创新
├── 父亲
│ ├── Jim Keller 的父亲及其影响
│ ├── 父亲的信念:努力可以掌握任何技能
│ └── 父亲晚年的疾病与乐观态度
├── 完美
│ ├── 完美与优秀:过分追求完美的弊端
│ └── 团队中平衡创新、执行和质量
├── 模块化设计
│ ├── 模块化设计的优势:独立开发、易于测试、提高质量
│ ├── 人类认知能力与复杂系统构建的限制
│ └── 网络系统的复杂性与人类认知的局限性
├── 摩尔定律
│ ├── 摩尔定律的现状和未来:硬件放缓,软件/算法提升
│ ├── 多计算机并行计算和数据规模化的重要性
│ └── 未来计算:低效但可扩展
├── 深度学习硬件
│ ├── 深度学习:新型计算模式,需要专门硬件
│ ├── GPU 与专用深度学习芯片的优缺点
│ └── Tenstorrent 的硬件设计理念:原生支持图计算
├── 让神经网络快速扩展
│ ├── PyTorch:主流深度学习框架
│ ├── 图编译器、数据流和网络通信的重要性
│ └── 扩展性的挑战:多芯片扩展
├── Andrej Karpathy 和 Chris Lattner
│ ├── 赞扬 Andrej Karpathy 和 Chris Lattner 的贡献
│ └── LLVM、Swift 和 MLIR 等项目对软件开发的影响
├── GPU 的工作原理
│ ├── GPU 擅长像素着色,不适合图计算
│ └── 光栅化等图形操作的硬件实现
├── 特斯拉自动驾驶、NVIDIA 和 Mobileye
│ ├── 特斯拉、NVIDIA 和 Mobileye 的不同策略
│ └── 特斯拉:端到端神经网络;Mobileye:传统计算机视觉
├── Andrej Karpathy 和软件 2.0
│ ├── 软件 2.0 的核心:数据驱动编程,自动化迭代
│ └── 自监督学习:利用无限数据训练
├── 特斯拉 Dojo
│ ├── Dojo:特斯拉的专用深度学习训练硬件
│ └── Dojo 的设计目标和挑战
├── 神经网络将比人类更好地理解物理
│ ├── 神经网络在理解物理方面可能超越人类
│ └── 不同层次的物理学:推理、方程、计算
├── 重新设计人脑
│ ├── 人脑的结构和工作方式:六层神经元、并行计算、循环反馈
│ └── 人脑的局限性和改进的可能性
├── 无限的乐趣和 Iain Banks 的文化系列
│ └── 超级智能 AI 和无限乐趣的概念
├── Neuralink
│ ├── 脑机接口的潜力和挑战:思维与外部世界的交互
│ └── 神经可塑性和扩展人类能力的可能性
├── 梦
│ ├── 梦境的意义和作用:潜意识、问题解决、创意激发
│ └── 如何控制梦境:睡前准备、清醒梦
├── 想法
│ ├── 如何产生好的想法:充分思考、不过滤、沉淀
│ └── 不同人的思维方式:视觉思维、语言思维等
├── 外星人
│ ├── 外星生命存在的可能性:宇宙中可能存在的其他智能
│ └── 我们可能无法理解与我们截然不同的智能
├── 乔丹·彼得森
│ └── 乔丹·彼得森的困境和苯二氮卓类药物的危害
├── 病毒
│ ├── 病毒的进化和竞争:病毒与细菌之间的持续斗争
│ └── 病毒对人类社会的影响:流行病、技术发展等
├── WallStreetBets 和 Robinhood
│ ├── GameStop 事件分析:散户 vs 机构
│ └── 金融市场的复杂性和风险
├── 年轻人的建议
│ ├── 找到热爱的事情并努力做到最好
│ └── 不要被陈旧观念束缚,独立思考
├── 人类状况
│ ├── 工作与生活的平衡:为爱好和兴趣留出时间
│ └── 认识自己:了解情绪、行为模式和局限性
├── 恐惧是一个牢笼
│ └── 克服恐惧:认识恐惧的非理性,勇敢面对挑战
├── 爱
│ ├── 爱的功能:保持兴趣和新鲜感
│ └── 爱的不同层次:身体、情感、智力、精神
├── 遗憾
│ ├── 反思过去的人际关系:减少负面情绪,理解他人
│ └── 政治和人际关系的复杂性:需要更多理解和策略
└── 结语
├── Jim Keller 的人生哲学:保持好奇心,不断学习,享受生活
└── 感谢赞助商和引用艾伦·图灵的名言
框架与要点:
-
0:00 - 引言和赞助商介绍
- 介绍嘉宾 Jim Keller,传奇微处理器架构师。
- 简述谈话内容:计算、人工智能、意识和人生。
- 感谢赞助商:Athletic Greens, Brooklinen, ExpressVPN, Belcampo。
-
1:33 - 好的设计是科学和工程的结合
- 理论与工程的关系:理论构建通用模型,工程解决实际问题。
- 计算机设计更偏向工程,需要处理复杂性和进行创新。
- 分支预测的例子说明理论创新可以带来巨大影响。
- 奖励机制需要平衡创新和工艺。
-
7:33 - Javascript
- Brendan Eich 在 10 天内创造了 Javascript,但它长期被认为是糟糕的编程语言。
- 讨论 Javascript 成功的原因:可能与时机和简洁性有关。
- “做坏事比做好事快”的策略在软件开发中可能有效。
-
11:40 - RISC vs CISC
- 讨论 RISC 和 CISC 架构的优缺点。
- 指令集架构会缓慢演变,但对性能影响不大。
- x86 的发展历史和开放架构的优势。
-
15:39 - 是什么造就了一个伟大的处理器?
- 性能是关键指标,包括速度、功耗、可扩展性等。
- Intel 和 ARM 的不同策略和优势。
-
18:58 - 乔布斯和苹果
- 乔布斯多次带领苹果转型,推出多款成功产品。
- 乔布斯擅长发掘人才和提出大的构想。
- 乔布斯的工作方式:高强度、高要求,但也注重细节。
-
21:36 - 马斯克和乔布斯
- 比较马斯克和乔布斯:马斯克更注重工程,乔布斯更注重设计和理念。
- 讨论领导者的特质:远见、执行力、对细节的关注等。
- 混乱与秩序的关系:过度的秩序会扼杀生产力,需要适当的混乱来激发创新。
-
27:21 - 父亲
- Jim Keller 谈论他的父亲,一位机械工程师,对他产生的影响。
- 父亲相信通过努力可以掌握任何技能,并鼓励他不断学习。
- 父亲在晚年患有帕金森症和癌症,但仍然保持乐观和幽默。
-
31:03 - 完美
- 完美与优秀之间的关系:过分追求完美会导致进度延迟,需要平衡。
- 讨论在团队中如何平衡创新、执行和质量。
- 模块化设计的重要性:提高代码质量和可维护性。
-
37:18 - 模块化设计
- 模块化设计的优势:独立开发、易于测试、提高代码质量。
- 人类的认知能力限制了我们构建复杂系统的能力,模块化设计可以解决这个问题。
- 讨论网络系统(如 Twitter)的复杂性和人类认知的局限性。
-
42:52 - 摩尔定律
- 摩尔定律的现状和未来:硬件性能提升速度放缓,软件和算法的提升成为关键。
- 讨论多计算机并行计算和数据规模化的重要性。
- 未来计算可能是低效但可扩展的。
-
49:50 - 深度学习硬件
- 深度学习是一种新型的计算模式,需要专门的硬件支持。
- 讨论 GPU 和专用深度学习芯片的优缺点。
- Tenstorrent 的硬件设计理念:原生支持图计算,提高效率和可扩展性。
-
56:44 - 让神经网络快速扩展
- PyTorch 是主流的深度学习框架,Tenstorrent 的目标是让 PyTorch 代码高效运行。
- 讨论图编译器、数据流和网络通信的重要性。
- 扩展性的挑战:如何将计算扩展到多个芯片。
-
1:04:22 - Andrej Karpathy 和 Chris Lattner
- 赞扬 Andrej Karpathy 和 Chris Lattner 的贡献和影响力。
- 讨论 LLVM、Swift 和 MLIR 等项目对软件开发的影响。
-
1:08:36 - GPU 的工作原理
- GPU 擅长处理像素着色程序,但不适合运行图计算。
- 讨论光栅化等图形操作的硬件实现。
-
1:12:43 - 特斯拉自动驾驶、NVIDIA 和 Mobileye
- 比较特斯拉、NVIDIA 和 Mobileye 在自动驾驶领域的不同策略。
- 特斯拉采用端到端的神经网络方法,Mobileye 采用传统的计算机视觉方法。
-
1:17:23 - Andrej Karpathy 和软件 2.0
- 软件 2.0 的核心思想:数据驱动的编程,自动化迭代改进。
- 自监督学习的重要性:利用无限数据进行训练。
-
1:23:43 - 特斯拉 Dojo
- Dojo 是特斯拉的专用深度学习训练硬件。
- 讨论 Dojo 的设计目标和挑战。
-
1:26:20 - 神经网络将比人类更好地理解物理
- 神经网络可能在理解物理方面超越人类。
- 讨论不同层次的物理学:推理、方程、计算。
-
1:28:33 - 重新设计人脑
- 人脑的结构和工作方式:六层神经元、并行计算、循环反馈。
- 讨论人脑的局限性和改进的可能性。
-
1:33:26 - 无限的乐趣和 Iain Banks 的文化系列
- 讨论 Iain Banks 的科幻小说中关于超级智能 AI 和无限乐趣的概念。
-
1:35:20 - Neuralink
- 脑机接口的潜力和挑战:实现思维与外部世界的交互。
- 讨论神经可塑性和扩展人类能力的可能性。
-
1:40:43 - 梦
- 梦境的意义和作用:潜意识的表达、问题解决、创意激发。
- 如何控制梦境:睡前准备、清醒梦。
-
1:44:37 - 想法
- 如何产生好的想法:充分思考、不过滤、让想法沉淀。
- 不同人的思维方式:视觉思维、语言思维等。
-
1:54:49 - 外星人
- 外星生命存在的可能性:宇宙中可能存在其他形式的智能。
- 我们可能无法理解与我们截然不同的智能。
-
1:59:46 - 乔丹·彼得森
- 谈论乔丹·彼得森的困境和苯二氮卓类药物的危害。
-
2:04:44 - 病毒
- 病毒的进化和竞争:病毒与细菌之间的持续斗争。
- 病毒对人类社会的影响:流行病、技术发展等。
-
2:07:52 - WallStreetBets 和 Robinhood
- 分析 GameStop 事件:散户投资者与机构投资者的博弈。
- 讨论金融市场的复杂性和风险。
-
2:15:55 - 年轻人的建议
- 找到自己热爱的事情并努力做到最好。
- 不要被陈旧观念束缚,要独立思考。
-
2:17:45 - 人类状况
- 工作与生活的平衡:需要为个人爱好和兴趣留出时间。
- 认识自己:了解自己的情绪、行为模式和局限性。
-
2:20:14 - 恐惧是一个牢笼
- 克服恐惧:认识到恐惧的非理性,勇敢面对挑战。
-
2:25:04 - 爱
- 爱的功能:保持对事物的兴趣和新鲜感。
- 爱的不同层次:身体、情感、智力、精神。
-
2:31:27 - 遗憾
- 反思过去的人际关系:减少对他人的负面情绪,理解他人的行为模式。
- 政治和人际关系的复杂性:需要更多的理解和策略。
-
2:36:21 - 结语
- Jim Keller 的人生哲学:保持好奇心,不断学习,享受生活。
- 感谢赞助商和引用艾伦·图灵的名言。
根据您提供的框架和要点,以及脚本上下文的特点,我判断对话双方的角色如下:
- 采访者: Lex Fridman (根据框架中的 "Introduction" 部分 "the following is a conversation with jim keller his second time in the podcast" 以及 "2:38:34 thanks for listening to this conversation with jim keller" 可以推断)
- 受访者: Jim Keller (根据框架中的 "Introduction" 部分 "the following is a conversation with jim keller" 可以推断)
以下是重新组织的访谈录,以 Lex Fridman (采访者) 和 Jim Keller (受访者) 的对话形式呈现,并使用了框架中的标题:
引言和赞助商介绍
Lex Fridman: 大家好,欢迎来到我的播客。今天我非常荣幸地请到了 Jim Keller,这已经是他第二次做客我的节目了。Jim 是一位传奇的微处理器架构师,被广泛认为是计算时代最伟大的工程思维之一。在某种时空的奇妙扭曲中,Jim 也是 Jordan Peterson 的姐夫/妹夫。我们今天会聊到这个,当然也会聊到计算、人工智能、意识和人生。首先快速感谢一下我们的赞助商:Athletic Greens,一体化营养饮料;Brooklinen 床上用品;ExpressVPN;以及 Belcampo 草饲肉。点击赞助商链接可以获得折扣,同时也是对本播客的支持。
Lex Fridman: 另外,我想说,Jim 是一个在个人层面上激励我做自己的人。无论是在节目中还是节目外,他的话语,或者说他竟然会注意到我,几乎都在告诉我:“你做得很好,孩子。” 这种肯定,对于一个心灵是蓬勃发展还是被世界的愤世嫉俗所摧毁,有着天壤之别。所以,我想借此机会向 Jim 表示感谢,并感谢那些在我的播客、我的工作和生活中给予我机会的人。
Lex Fridman: 如果你喜欢这个节目,请在 YouTube 上订阅,在 Apple Podcast 上评论,在 Spotify 上关注,在 Patreon 上支持,或者在 Twitter 上与我联系,我的账号是 @lexfridman。好了,接下来就是我和 Jim Keller 的对话。
好的设计是科学和工程的结合
Lex Fridman: 理论与工程,哪个更重要,哪个更有效?在构建优秀的软件或硬件系统时,它们之间又是怎样的关系?
Jim Keller: 嗯,好的设计,两者都是吧,我想这很明显。工程,你指的是那些已知方法的实践应用,而科学则是追求发现人们不了解的事物或解决未知的问题。当然,这里的定义很有趣。
Lex Fridman: 我想的更多的是,理论是构建通用模型来解释事物运作的规律,而工程则是实际建造东西,更务实。就像,我们有了这些漂亮的模型,但如何让它们真正运转起来?经济学或许是一个很好的例子,经济学家有很多关于经济如何运作的模型,以及不同政策会产生什么影响,但接下来就是实际的,可以称之为“工程”的部分,即真正实施这些政策。
Jim Keller: 计算机设计几乎都是工程,并且是已知方法的实践应用。因为我们构建的计算机非常复杂,你可能会想:“我们写一些代码,验证一下,然后把它们组合起来就行了。” 然后你会发现,所有这些东西的组合非常复杂,你就必须发挥创造力来找到正确的方法。所以这种情况经常发生。然后,每隔一段时间就会出现一些大的想法。
Lex Fridman: 这些大的想法是在工程领域还是在…?
Jim Keller: 我举个例子。计算机性能的一个限制是分支预测。关于分支预测的效率有很多想法,人们说它有一个极限,一个渐近曲线。然后有人提出了一种更好的分支预测方法,效果好得多,并且发表了一篇论文。现在世界上所有的计算机都在使用它,这就是一个想法。所以那些构建分支预测硬件的工程师们很乐意放弃一种训练数组,而采用另一种。
Lex Fridman: 这是一个真正的想法。分支预测是所有底层软件的关键问题之一。它归结为…
Jim Keller: 分支预测归结为不确定性。计算机受到限制,你知道,单线程计算机受限于两件事:分支路径的可预测性和数据局部性的可预测性。所以我们现在有了预测器,可以很好地预测这两者。内存离本地缓存有几百个周期,而本地缓存只有几个周期。当你在快速执行时,几乎所有的数据都必须在本地缓存中。一个简单的程序说,“给数组中的每个元素加一”,很容易看到数据流。但你可能有一个更复杂的程序,“获取这个数组的一个元素,查看一些东西,做出决定,再去获取另一个元素”,这有点随机。你可能会觉得这真的不可预测。然后你构建了一个大型预测器来查看这种模式,你会意识到,“如果你得到了这个数据和这个数据,你可能想要那个数据。如果你得到了这个数据、这个数据和这个数据,你可能想要那个数据。”
Lex Fridman: 这是理论还是工程?那篇论文是渐近线类型的讨论,还是更像是一个有效的技巧?
Jim Keller: 两者都有。我想里面有信息论的成分。所以这是试图证明… 但是一旦你知道了这个方法,实现它就是一个工程问题了。另一方面,在一个大型设计团队中,有多少比例的人认为他们的计划或毕生工作是工程,而有多少比例的人认为是设计,是发明?很多公司会奖励你申请专利。一些大公司陷入困境,因为要获得晋升,你必须提出一些新的东西。然后每个人都在尝试做一些随机的新事物,而这些新事物并不重要,基础的东西却被忽略了。或者他们陷入了另一个极端,他们认为单元库、基础的 CAD 工具,或者基础的软件验证方法,这些都是简单的东西,他们想做那些令人兴奋的东西。然后他们花很多时间试图弄清楚如何为某件事申请专利,而这大部分是无用的。
Lex Fridman: 但突破往往是在简单的事情上?
Jim Keller: 不不,你必须把简单的事情做好。如果你想用砖块建造一座漂亮的房子,你想要好的砖块。你去两个地方买砖,一个人说:“它们就在那边,乱糟糟的一堆。” 另一个人则热情地告诉你关于 50 种砖块的信息,它们有多硬,多漂亮,多方正。你会从哪一个那里买砖?哪一个能建造出更好的房子?
Lex Fridman: 你指的是工匠,那个了解砖块、热爱砖块、热爱它们多样性的人。
Jim Keller: 这是个好词。好的工程就是伟大的工艺。当你开始认为工程是关于发明,并建立一个奖励发明的体系时,工艺就会被忽视。
Lex Fridman: 所以,也许一个角度是,理论,或者说科学,过分强调了发明?
Jim Keller: 而工程强调工艺。因此,如果你… 理论上做什么并不重要。每个人都知道,读一读科技新闻,他们总是在谈论一些突破、干预或创新,每个人都认为这是最重要的。但创新的想法实际上相对较少。我们需要它们,对吧?创新创造了一个全新的机会,就像有人发明了互联网,这是一件大事。而基于互联网编写软件的一百万人,他们主要做的都是工程软件开发。所以,对这个想法的详细阐述是巨大的。
Javascript
Lex Fridman: 你认识 Brendan Eich 吗?他在 10 天内写出了 Javascript。这真是一个有趣的故事。这门语言多年来一直被认为是一门相当糟糕的编程语言,现在可能仍然是,虽然它一直在不断改进。关于这个人的有趣之处在于,他没有获得任何奖项,没有诺贝尔奖,没有菲尔兹奖,或者…
Jim Keller: 一段糟糕的代码,现在却是世界上使用最多的编程语言,并且越来越多地运行在互联网的后端。他最后怎么样了?他知道为什么每个人都在使用它吗?这将是一件有趣的事情。这是在正确的时间做了正确的事情吗?因为像 Javascript 这样的东西出现时,人们正在从编写 C 程序和 C++ 程序转向所谓的托管代码框架,在这些框架中,你可以编写简单的代码,它可能是解释型的,它有很多库,生产力很高,而且你不必是一个专家。Java 被认为可以解决世界上所有的问题,但它很复杂。Javascript 是在其他几种脚本语言之后出现的,我不是这方面的专家,但…
Lex Fridman: 但它是在正确的时间做了正确的事情,还是有什么… 因为他不是唯一一个… 有几个因素。如果他能弄清楚它是什么就好了。
Jim Keller: 如果他弄清楚了,那他就能获奖了。
Lex Fridman: 颠覆性理论,哈哈。
Jim Keller: 哈哈,可能他没有定义它,或者他需要一个好的推广者。
Lex Fridman: 我想有一系列的博客文章是关于这个的,标题是“错误即正确”,意思是快速地做一些糟糕的事情,把一些能解决部分需求的东西拼凑在一起,然后随着时间的推移不断迭代,倾听开发者的意见,倾听真正使用它的人的意见。这是在软件中可以更多地做的事情。
Jim Keller: 但在正确的时间… 你必须有感觉,你必须对何时是使用正确工具的正确时间有良好的直觉,并且让它超级简单,然后把它推出去。问题是,这在硬件中是正确的,但在软件中不太正确,那就是向后兼容性,它会拖累你,因为你试图修复过去的所有错误。但时机很好,这其中有一些原因,它不是偶然的。你必须把自己奉献给… 你必须对现在需要什么有一个广泛的认识,包括科学上和社区上的。很明显,当时浏览器中运行的所有东西,比如 Java,我认为还有 Scheme 等其他编程语言,它们都在一个单独的外部容器中。然后 Javascript 实际上只是被注入到网页中,这是最愚蠢的做法,它与其他所有东西在同一个线程中运行。而且它是作为注释插入的,Javascript 代码是作为 HTML 代码中的注释插入的。我的意思是,这要么是天才之举,要么是超级愚蠢,但它是…
Lex Fridman: 所以它没有虚拟机和容器的机制,它只是在程序已经在运行的框架中执行。
Jim Keller: 这很酷。然后,由于它的这种可访问性和易用性,导致开发者们创新了如何实际使用它。我甚至不知道该怎么理解这一点,但它似乎在不同的软件中都有回响,像 PHP 也有相同的故事,非常糟糕的语言,但它们却占领了世界。我总开玩笑说,随机长度指令,可变长度指令,总是赢家,尽管它们显然更糟糕。没人知道为什么 x86,可以说是地球上最糟糕的架构之一,却是最流行的架构之一。
Lex Fridman: 这不也是 RISC 与… 的故事吗?我的意思是,简洁性…
RISC vs CISC
Lex Fridman: 在这个进化的过程中,简洁性似乎总是受到重视。如果它很简单,它就会传播得更快。是这样吗?
Jim Keller: 是的,或者说,简单是好的,但太简单就不好了。
Lex Fridman: 那你觉得为什么 RISC 赢了?在历史的长河中,RISC 真的赢了吗?也许我们还不知道。谁会赢?什么是 RISC?什么是 CISC?谁将在这个领域获胜?
Jim Keller: 指令集架构将会获胜,但会有各种各样运行小程序的小型计算机。我们正在经历另一次变革。
Lex Fridman: 你认为最底层的指令集会改变吗?
Jim Keller: 是的,它们会缓慢演变。它们并不重要。它们并不那么重要。性能的限制在于指令和数据的可预测性,这是最关键的。然后它的可用性取决于设计的质量、工具的质量和可用性。现在 x86 是 Intel 和 AMD 的专有架构,但他们可以独立地以任何方式更改它。ARM 是 ARM 的专有架构,他们不允许其他人更改它,所以这是一个痛点。RISC-V 是开源的,所以任何人都可以更改它,这很酷,但这可能也意味着它会被以太多随机的方式更改,以至于没有一个人们可以使用的通用子集。
Lex Fridman: 你喜欢开放还是封闭?如果你把所有的钱都押在其中一个上,RISC-V 还是…?
Jim Keller: 不知道,这取决于具体情况。x86 很奇怪,当 Intel 刚开始开发它时,他们授权了大约七家公司,所以它是一个开放的架构。然后他们比其他人发展得更快,还收购了其中一两家公司。但当时有七家不同的公司在生产 x86,因为当时有 6502、Z80 和 8086。你可以说每个人都认为 Z80 是更好的指令集,但它是某个地方的专有架构。哦,还有 6800。所以有四五个不同的微处理器。Intel 走向开放,获得了市场份额,因为人们觉得他们可以从多个来源获得它。然后随着时间的推移,它缩小到了两家公司。
Lex Fridman: 作为一个历史学家,为什么 Intel 的处理器能赢这么久?
Jim Keller: 他们很棒,他们的工艺开发很棒。
Lex Fridman: 所以,回想一下 Javascript 和 Brendan Eich,还有微软和网景以及所有这些互联网浏览器…
Jim Keller: 微软赢得了浏览器大战,因为他们积极地窃取别人的想法。在他们做到这一点之后… 我不知道 Intel 是否窃取了别人的想法,他们开始制造… 只是他们做得很好。他们开始制造 RAM,随机存取存储器。然后在日本制造商崛起的时候,他们在竞争中落败,于是他们转向了微处理器,制造了第一个集成微处理器,4004 还是什么的。
Lex Fridman: 是谁主导了这次转型?这是一次重大的转型。
Jim Keller: Andy Grove,他很棒。这是一次重大的转型。然后他们引领了半导体行业。他们只是一家小公司,IBM 和其他所有大公司都拥有大量的资金,但他们在创新方面超越了所有人。
Lex Fridman: 超越了所有人。所以不是市场营销,不是…?
Jim Keller: 他们的处理器设计相当不错。我认为 Core 2 大概是我认为很棒的第一个,它是一个非常快的处理器。然后 Haswell 也很棒。
是什么造就了一个伟大的处理器?
Lex Fridman: 是什么造就了一个伟大的处理器?
Jim Keller: 如果你看看它的性能与其他处理器的对比,它的大小,它的可用性。
Lex Fridman: 所以不是某个特定的、让它变得漂亮的元素,而是纯粹的性能?这就是你对处理器的看法吗?纯粹的性能?
Jim Keller: 当然,就像赛马一样,最快的赢。
Lex Fridman: 你不在乎… [笑声] 只要它是…
Jim Keller: 在特定环境下最快。多年来,你制造出你能制造的最快的处理器,然后人们开始有了功耗限制。所以你就要在正确的功耗点上制造最快的处理器。然后当我们开始做多处理器时,如果你能比别人更好地扩展你的处理器,你可能在单线程上快 10%,但你有更多的线程。所以有很多可变性。然后 ARM 真正探索了… 他们有 A 系列、R 系列和 M 系列,一个针对所有这些不同设计点的处理器系列,从难以置信的小而简单… 所以当你在做设计时,它有点像一个巨大的 CPU 调色板。他们是唯一拥有可信的、自上而下的调色板的公司。
Lex Fridman: 你说的“可信的、自上而下的”是什么意思?
Jim Keller: 有些人制造小型微控制器,但他们没有快速的处理器。有些人制造快速的处理器,但他们没有小型、中型的处理器。
Lex Fridman: 做完整的调色板很难吗?这似乎…
Jim Keller: 有很多不同的…
Lex Fridman: 所以 ARM 和 Intel 的区别是什么?他们在处理这个问题上的方式有什么不同?
Intel vs ARM
Jim Keller: Intel 的几乎所有处理器设计都是非常定制的高端设计,在过去的 15 到 20 年里,都是尽可能快的。
Lex Fridman: 只关注一个方向?
Jim Keller: 是的,他们在架构上非常出色,但公司本身在 CAD 工具等方面与行业的发展相对隔绝。关于定制设计与综合设计以及如何处理这个问题存在争议,我认为 Intel 在综合处理器方面进展缓慢。ARM 从底层进入,他们生成的 IP 可以用于各种各样的客户,所以客户对如何实现他们的 IP 几乎没有发言权。因此,ARM 对综合 IP 环境非常友好,而 Intel 说:“我们将用我们自己的 CAD 工具、我们自己的工艺、我们自己的其他配套 IP 来制造这款出色的客户端芯片和服务器芯片,所有东西都只能与我们的产品一起使用。”
Lex Fridman: 所以 ARM 在处理器方面赢得了移动平台领域?
Jim Keller: 是的。
Lex Fridman: 所以,你描述的就是他们获胜的原因?
Jim Keller: 他们有很多人在做很多不同的实验。他们控制了处理器架构和 IP,但他们允许人们把它放在各种不同的芯片中,那里发生的事情有很多可变性。而 Intel 当他们进军移动领域时,他们只有一个团队做一个部件。所以这不是 10 个实验。然后他们的思维方式是 PC 思维方式,微软软件思维方式,这带来了一系列移动领域、嵌入式领域不做的事情。
Lex Fridman: 你认为 Intel 有可能彻底转型并赢得移动市场吗?
Jim Keller: 这非常困难。
乔布斯和苹果
Lex Fridman: 对于一家大公司来说,转型非常困难。这很有趣,因为… 我们将谈论你目前的工作。很明显,PC 在过去几十年里一直占据主导地位,台式电脑,然后是移动设备。这不清楚,这是一个领导力问题。就像苹果在乔布斯回归后,他们进行了多次转型。他们制造了 iPad、iTunes、手机、平板电脑和出色的 Mac 电脑。谁知道电脑应该用铝制造?没人知道。它们很棒,这很有趣。那是乔布斯。乔布斯,他们进行了多次转型。而以前的 Intel,他们也进行了多次转型,他们制造了 DRAM、处理器和工艺。
Lex Fridman: 我必须问一下,和乔布斯一起工作是什么感觉?
Jim Keller: 我没有和他一起工作。
Lex Fridman: 你和他互动过吗?
Jim Keller: 两次,我在自助餐厅和他打过两次招呼。
Lex Fridman: 他说了什么?
Jim Keller: 他说:“大家好。”
Lex Fridman: 他很友好?
Jim Keller: 他和别人一起走来走去,找不到桌子,因为自助餐厅里挤满了人。我让出了我的桌子。但我为 Mike Culbert 工作,他与… Mike 是苹果的非官方首席技术官,一个了不起的人。他为乔布斯工作了 25 年,也许更久。他每天和乔布斯交谈多次,他是少数几个能忍受乔布斯的… 可以说是才华和强度的人之一。乔布斯真的很喜欢他,乔布斯信任 Mike 能把他的想法转化为可行的工程产品。Mike 负责一个叫做平台架构的团队,我就在这个团队里。所以很多时候,我和 Mike 坐在一起,电话响了,是乔布斯打来的,Mike 会把电话拿得远远的,因为乔布斯会在电话里大喊大叫。
Lex Fridman: 哈哈。
Jim Keller: 他会翻译,然后说:“乔布斯希望我们这样做。”
Lex Fridman: 乔布斯是一个好的工程师吗?
Jim Keller: 我不知道,他是一个伟大的创意家。
Lex Fridman: 创意家。
Jim Keller: 他非常善于选择人才。
Lex Fridman: 是的,这似乎是领导力的关键要素之一。
Jim Keller: 然后他非常擅长第一性原理思考。如果有人说某件事不可能完成,他会认为这显然是错误的。但也许这很难做到,也许这很昂贵,也许我们需要不同的人。如果你想做一些困难的事情,也许需要时间,也许需要迭代,有很多事情需要考虑,但说它不可能完成是愚蠢的。
马斯克和乔布斯
Lex Fridman: 你会如何比较… 看来马斯克更注重工程,但我认为他也认为自己是一个设计师,他有设计思维。乔布斯给人的感觉是,他更注重创意空间、设计空间,而不是工程。
Jim Keller: 是的,就像“让它发生,世界应该是这样的,把它搞定。” 但他使用了计算机,他有计算机方面的人一直和他交谈。Mike 是一个非常优秀的计算机专家,他知道计算机能做什么,这里的计算机指的是计算机硬件。
Lex Fridman: 硬件、软件,所有的部分,整个系统。
Jim Keller: 然后他会有一个关于我们接下来可以用它做什么的想法,这个想法是基于现实的,他不是在墙上乱涂乱画,希望有人能理解。他有着这种有趣的联系,因为他不是计算机架构师或设计师,但他对我们拥有的计算机以及可能发生的事情有一种直觉。
Lex Fridman: 你说是直觉,因为看起来他在很多工程师面前表现得很生气,因为他对什么能做和什么不能做的直觉…
Jim Keller: 所有这些故事,关于软盘和所有这些东西… 在乔布斯的第一阶段,他会走进一个实验室,看看正在发生的事情,然后讨厌它,解雇员工,或者在电梯里问别人他们在为苹果做什么,然后不高兴。当他回来时,我的印象是他身边有一群相对较小的人,他与这个群体之外的人互动不多。然后有个笑话是,你会看到有人推着一个原型穿过广场,上面盖着一块黑布,那是因为它是秘密的,部分是为了不让乔布斯看到,直到它准备好。
Lex Fridman: Johnny Ive 和乔布斯之间的互动很有趣,就像你不想…
Jim Keller: 他毁掉的想法和他产生的想法一样多。
Lex Fridman: 是的,如果你有很多想法,这是一条危险的界线。
Jim Keller: Gordon Bell 以想法多而闻名,这并不是说他好主意的比例比其他人高得多,而是他有很多想法,他也善于与人谈论这些想法,并进行正确的过滤,看透事物。而马斯克则会说:“嘿,我想造火箭。” 乔布斯会雇佣一群火箭专家,而马斯克会去阅读火箭手册。
Lex Fridman: 所以马斯克是一个更好的工程师,或者说,他对… 更热爱、更热衷于手册?
Jim Keller: 还有细节,对细节的关注,对工艺的关注。
Lex Fridman: 我想他也有工艺,但类型不同。你怎么看待… 让我们在这个话题上多停留一会儿,你怎么看待愤怒、激情、解雇员工、情绪波动和疯狂,情绪化等等?这是乔布斯的特点,我想马斯克也是。这是缺陷还是特点?
Jim Keller: 这是特点。有一张图,Y 轴是生产力,X 轴在零点是混乱,无穷远处是完全的秩序。所以当你从原点开始,当你提高秩序时,你提高了生产力。在某个点上,生产力达到峰值,然后再次下降。
Lex Fridman: 是的,太多的秩序,什么都做不了。
Jim Keller: 但问题是,它离混乱有多近?不不不,一旦你开始朝着秩序的方向前进,推动你走向秩序的力量是不可阻挡的。每个组织都会走向生产力被秩序阻碍的地方。所以你需要… 问题是,谁是反作用力?因为当你变得更有条理时,感觉也非常好。然后生产力提高,组织感觉到这一点,他们就会朝着这个方向发展,对吧?他们雇佣更多的人,他们得到更多可以管理流程的人,他们变得更大。然后不可避免地,组织会被管理所有流程的官僚机构所俘获。人类真的很喜欢这样。所以如果你走进一个房间说:“伙计们,我喜欢你们正在做的事情,但我需要你们减少一些秩序。” 如果你没有某种力量支持,什么都不会发生。我无法告诉你这在多少层面上是深刻的。
Lex Fridman: 所以这就是为什么你说这是一个特点。现在,你能对它更好一点吗?我不知道,我不知道有任何更好的例子。
Lex Fridman: 有趣的是,为了完成工作,你需要能够管理事物和管理人员的人,因为人类很复杂,他们需要大量的照顾和喂养,你需要告诉他们他们看起来不错,他们做得很好,拍拍他们的背。我不知道,你需要告诉我,这有必要吗?
Jim Keller: 人类需要这个。我有一个朋友,他开始管理一个团队,他说:“我明白了,你必须在他们做任何事情之前就表扬他们。我以前总是等到他们完成了才表扬,他们总是生我的气。现在我在他们工作的时候就告诉他们他们做得有多好。” 但你也会陷入这个陷阱,因为当他们没有做某件事的时候,你如何面对这些人?
Lex Fridman: 我想很多在童年时期经历过创伤的人,成功的那些人,他们会先做粗暴的事情,然后再表现得友善。
Jim Keller: 我不知道。好的,但是好的工程公司里有很多成年人,他们有各种各样的童年经历,大多数人的童年都还不错。
Lex Fridman: 我不知道… 很多人只是为了赞美而工作,这很奇怪。你的意思是…
Jim Keller: 每个人… 我对这个不是很感兴趣,但是…
Lex Fridman: 嗯,你可能在寻求某人的认可。
父亲
Lex Fridman: 即使是现在?也许我应该考虑一下这个问题。
Jim Keller: 也许是某个已经不在人世的人,我不知道。我以前会打电话给我爸爸,告诉他我正在做什么,他对工程之类的东西非常兴奋。
Lex Fridman: 你得到了他的认可?
Jim Keller: 是的,很多。我很幸运,他从小就认为我很聪明、很特别,这很好。当我真的很小的时候,所以当我在学校表现不佳时… 我有阅读障碍,直到三年级或四年级才学会阅读,他们不在乎,我的父母觉得“哦,他会没事的。” 这很有趣,这很酷。他还健在吗?
Jim Keller: 没有。
Lex Fridman: 你怀念他吗?
Jim Keller: 当然,他患有帕金森症,然后是癌症,他最后的十年很艰难。
Lex Fridman: 这很难,看着一个人…
Jim Keller: 是的,思想… 这很好。帕金森症会导致缓慢的痴呆,化疗,我想加速了它。但它是致幻性痴呆,所以他很聪明、很有趣、很有意思,这很不寻常。
Lex Fridman: 你还记得那些对话吗?在那段时间里,你有什么美好的回忆吗?
Jim Keller: 哦,当然。
Lex Fridman: 有什么特别的回忆吗?
Jim Keller: 一个朋友有一次告诉我,我可以在白板上比他见过的任何人都快地画出一台计算机。我说:“你应该见见我爸爸。” 当我还是个孩子的时候,他会回家说:“我开车经过这座桥,我在想…” 然后他会拿出一张纸,画出整座桥。他是一位机械工程师。他会画出整座桥,然后告诉我关于它的事情,告诉我他会如何改变它。他有一种… 他可以理解和构思任何东西的想法,我就是在这种环境下长大的,所以这很自然。所以,当我面试别人的时候,我会让他们在白板上画出他们做过的某件事的图片,这真的很有趣。有些人画一个小盒子,然后说:“然后这个和这个对话…” 我会觉得这很令人沮丧。我记得有一次另一个人进来说:“嗯,我设计了这个芯片中的一个浮点单元,但我真的很想告诉你整个芯片是如何工作的,然后再告诉你浮点单元在其中的工作原理,你介意我这样做吗?” 他画满了两个白板,大概 30 分钟,我雇佣了他,他很棒。
Lex Fridman: 这是工匠精神。
Jim Keller: 我的意思是,这是工匠精神,但也需要有理解整个事物的思维敏捷性。
Lex Fridman: 是的,把各个部分放在上下文中。
Jim Keller: 对设计的平衡有一个正确的认识,因为如果你没有正确地理解它,当你开始画它的时候,你会用一个小白板的一半来画其中的一小部分。你以一种可理解的方式来布局它的能力,需要大量的理解。
Lex Fridman: 并且能够放大到细节,然后快速缩小…
Jim Keller: 是的,非常快。
Lex Fridman: 关于不可能的事情… 你看到你爸爸相信你可以做任何事情,这对一个工匠来说是一个奇怪的特点。
Jim Keller: 是的。
Lex Fridman: 这似乎在你的行为中也有所体现。
Jim Keller: 这不是说任何人现在就可以做任何事情,而是如果你努力去做,你可以做得更好,而且可能没有极限。他们做了一些有趣的事情,比如,他一直想弹钢琴,所以在他生命的最后阶段,他开始弹钢琴。他患有帕金森症,他弹得很糟糕,但他想,如果他这辈子真的努力了,也许下辈子他会弹得更好。
Lex Fridman: 他可能有所领悟。
Jim Keller: 他喜欢这样做,这很有趣。
完美
Lex Fridman: 在硬件和软件工程中,你认为完美是优秀的敌人吗?就像我们之前谈到的 Javascript,以及 10 天构建过程的混乱。
Jim Keller: 这是创造性的张力。创造性的张力是指你有两个不同的想法,你不能同时做这两件事,但你想同时做这两件事,这促使你去尝试解决这个问题,这就是创造性的部分。所以如果你在制造计算机,有些人会说:“我们有时间表,任何不符合时间表的事情我们都不能做。” 所以他们为了赶进度而抛弃了完美,我讨厌这样。还有一些人会说:“我们需要把这件事做得完美,无论需要多少人,多少钱。” 对你想要什么有一个非常清晰的想法,有些人会把它表达得很清楚,我们称之为“完美”。
Lex Fridman: 是的。
Jim Keller: 但这也很糟糕,因为他们永远无法交付任何东西,永远无法实现任何目标。现在你有了这个框架,你不能因为今天做不完就扔掉一些东西,因为也许你明天就能完成,或者在下一个项目中完成。你不能… 我和一个我非常喜欢一起工作的人一起工作,但他过度过滤了他的想法。他会开始思考某件事,一旦他发现了其中的问题,他就会把它扔掉。然后我开始思考,你会产生一个想法,然后你发现它的问题,然后你给它一点时间,因为有时你能找到调整它的方法,或者也许那个想法有助于产生其他的想法。所以想法的产生非常有趣,你必须给你的想法空间,思想的宽敞是关键。但你也必须执行程序并完成任务。然后事实证明,计算机工程很有趣,因为建造一台计算机需要 100 个人,200 到 300 人,不管具体数字是多少。而且人们在性格、技能组合等方面差异很大,在一个大型组织中,你会发现有些人喜欢完美的想法,有些人想昨天就把事情做完,有些人喜欢提出想法,有些人喜欢… 可以说是击落想法。这需要… 这需要一个庞大的团队,有些人擅长产生想法,有些人擅长过滤想法。然后在这个巨大的混乱中,不知何故…
Lex Fridman: 我想,目标是让这群人找到通过这种张力的完美路径,这种创造性的张力。但是,当你说有些人擅长表达完美的样子,好的设计的样子时,你是如何知道的?如果你坐在一个房间里,你有一套关于如何设计一个更好的处理器的想法,你怎么知道…
Jim Keller: 这是一个特别的想法,这是一个好主意,我们试试这个。
Lex Fridman: 这个…
Jim Keller: 你有没有和几个非常聪明的人一起集思广益过?你开始的时候不太明白,然后你开始讨论它,把它写在白板上,可能需要几天或几周的时间,然后你们的大脑开始同步,这真的很奇怪。你开始看到对方的想法,然后它开始…
Lex Fridman: 可以看见…
Jim Keller: 我在计算机设计方面的天赋是,我可以在脑海中看到计算机是如何工作的,而且我知道其他人也能做到这一点。当你和能够做到这一点的人一起工作时,这是一种非常棒的体验。然后每隔一段时间,你会达到那种境界,然后你发现了缺陷,这很有趣,因为你可能会自欺欺人,但你们两个人一起漂流到了一个无用的方向,这种情况也会发生。你必须… 因为… 好在计算机设计总是有实践应用的,你提出了你的好主意,我认识一些非常喜欢想法的架构师,然后他们会继续研究这些想法,把它们放在架子上,再去研究下一个想法,放在架子上,他们从来没有实践应用,所以他们不知道什么是好的,什么是坏的。因为几乎每次我做了一些真正新的东西,到它完成的时候,好的部分是好的,但我知道所有的缺陷。
Lex Fridman: 你会说你的职业生涯,你自己的经验,你的职业生涯更多地是由缺陷定义的,还是由成功定义的?
Jim Keller: 如果你没有努力尝试,没有做一些新的事情,那么当你构建它的时候,你就不会面临挑战,你就会发现它的所有问题。
Lex Fridman: 但当你回顾过去的时候,你看到的是问题。
Jim Keller: 好吧,当我回顾过去的时候…
Lex Fridman: 你想到什么?
Jim Keller: 在我职业生涯的早期,是的。EV5 是第二个 Alpha 芯片,我对其中的错误感到非常尴尬,以至于我几乎无法谈论它。它被列入了吉尼斯世界纪录,是当时地球上最快的处理器。在某个时刻,我意识到这是一种非常糟糕的心理框架。我们做了一些新的事情,有些做得很好,有些很糟糕,我们从中吸取了很多教训。然后下一个,我们也吸取了很多教训。EV6 也有一些非常酷的东西,我认为好东西的比例上升了,但它也有几个致命的缺陷,非常痛苦。然后…
Lex Fridman: 是的,你要学会把痛苦转化为骄傲。
Jim Keller: 不是骄傲,而是对世界如何运作的一种认识。
Lex Fridman: 或者说,关于那种想法,生活就是苦难,这就是现实。
Jim Keller: 不,不是的。我知道佛陀说过这句话,还有其他一些人也说过。不,你知道,这是一种奇怪的好与坏、光明与黑暗的结合,你必须容忍和应对。
Lex Fridman: 世界上肯定有很多苦难,这取决于视角,看起来黑暗面更多,但这使得光明的部分更加美好。
模块化设计
Lex Fridman: 你觉得哪些计算硬件或软件设计很漂亮?无论你自己的工作还是别人的工作,那些你觉得… 我们刚才谈到了缺陷、错误和失误的战场,但有没有一些做得非常漂亮的东西让你印象深刻?
Jim Keller: 当事情做得漂亮时,通常会有一套经过深思熟虑的抽象层,这样整个系统就能很好地协同工作。我说的抽象层是指两个不同的组件,当它们一起工作时,它们是独立工作的,它们不需要知道对方在做什么。
Lex Fridman: 解耦。
Jim Keller: 是的,著名的例子是网络协议栈,有七层网络,数据传输、协议等等。创新之处在于,当他们真正把它做对的时候,因为之前的网络没有很好地定义这些层。这些层可以独立地创新,偶尔层边界,也就是接口会升级,这让设计空间得以呼吸,你可以在第七层做一些新的东西,而不必担心第四层是如何工作的。好的设计就是这样做的。在处理器设计中也能看到这一点。当我们在 AMD 设计 Zen 架构时,我们把几个组件做得非常模块化。我在一开始就坚持,在编写各个部分的 RTL 之前,要定义好所有的接口。其中一位验证负责人说:“如果我们这样做,我可以对各个部分进行非常好的独立测试,当我们把它们放在一起时,我们就不会发现所有这些交互错误,因为浮点单元知道缓存是如何工作的。” 我有点怀疑,但他基本上是对的,模块化设计大大提高了质量。
Lex Fridman: 你认为这在总体上是普遍正确的吗?关于好的设计,模块化是…
Jim Keller: 我们之前谈过这个,人类的智力是有限的,而且我们并没有变得
Jim Keller: 更聪明,但是事物的复杂性却在不断上升。所以,一个漂亮的设计不可能大于设计它的人,这只是… 他们的那一部分。你做一个非常漂亮的设计,但它对你来说太难了,成功的几率很低。如果它对你来说太简单了,那就没什么意思了,就像,“谁都能做。” 但是当你把你的专业知识和脑力与正确的设计规模相匹配时,那就很酷了。但这还不足以对世界产生有意义的影响。所以现在你需要一个框架来设计各个部分,这样整体才能变得庞大而和谐,当你把它们放在一起时,它足够有趣,可以被使用。所以,一个漂亮的设计就是把人类认知能力的极限与你能创建的模块相匹配,并在这些模块之间创建良好的接口。
Lex Fridman: 你认为我们用这种模块化设计能够构建的漂亮复杂系统是否有一个极限?就像… 你知道,如果我们构建越来越复杂的… 你可以想象互联网… 好的,让我们放大一下,你可以把像 Twitter 这样的社交网络看作一个计算系统。
Jim Keller: 但那些都是小模块。
Lex Fridman: 是的,但它是建立在… 它是建立在很多 Twitter 甚至都不理解的组件之上的。
Jim Keller: 所以,所以,如果一个外星人出现并观察 Twitter,他不会仅仅把 Twitter 看作一个每个人都在使用的、非常大的、漂亮而简单的东西,他会看到它运行的网络、光纤、数据传输、计算机,整个东西非常复杂,Twitter 的任何人都无法理解。所以我想这就是外星人看到的。
Lex Fridman: 是的,如果一个外星人出现并观察 Twitter,或者观察地球上各种不同的网络系统,想象一下他们非常聪明,能够理解整个系统,然后他们… 评估人类并想:“这真的很有趣,这个星球上没有人能理解他们建造的这个系统。”
Lex Fridman: 没有个体,或者…
Jim Keller: 他们甚至能看到个体的人类吗?这就是有趣的地方,我们人类非常以人类为中心,以实体为中心,所以我们认为自己是核心的有机体,而网络只是有机体的连接。但从外星人的角度来看,从外部的角度来看,似乎…
Jim Keller: 是的,我明白了。
Lex Fridman: 我们是蚂蚁,他们看到的是蚁群。
Jim Keller: 蚁群,是的,或者蚁群的产物,比如城市等等。
Lex Fridman: 是的,从这个意义上说,人类是非常了不起的,我们能够实现的模块化,以及我们对噪音和变异的鲁棒性等等。
Jim Keller: 那是因为它一直在经受压力测试。你建造了所有这些有建筑物的城市,偶尔会发生地震,还有… 战争、地震、病毒,每隔一段时间… 商业计划的改变,比如航运之类的。只要它一直在经受压力测试,它就会不断适应环境,所以这是一个奇怪的现象。
摩尔定律
Lex Fridman: 让我们谈谈摩尔定律。从广义上讲,摩尔定律是指计算能力的指数级提高。例如,OpenAI 最近发表了一些论文,研究了神经网络训练效率的指数级提高,比如针对 ImageNet 等数据集,我们在这方面做得更好了,这纯粹是软件方面,只是找到了更好的训练神经网络的技巧和算法,而且这方面的改进速度似乎比摩尔定律的预测要快得多。这是在软件领域。如果摩尔定律继续下去,或者说摩尔定律的广义版本继续下去,你认为这主要来自硬件、软件,还是两者的某种有趣结合?或者完全是… 不是指晶体管尺寸的缩小,而是指硬件领域中各种有趣的创新?
Jim Keller: 这张图中有五六件事情在发生。首先,有一些最初的创新有很大的利用空间,所以神经网络的效率已经显著提高。然后是它们的可分解性和使用… 它们开始在一台计算机上运行,然后是多台计算机,然后是多个 GPU,然后是 GPU 阵列,现在已经达到了数千个。在某种程度上,它们就像… 它们正在从单台计算机应用程序发展到一千台计算机的应用程序,所以这并不是真正的摩尔定律,这是一个独立的向量,“我可以在这个问题上使用多少台计算机?” 因为计算机本身正在按照摩尔定律的速度变得更好,但它们从一台发展到十台、一百台、一千台的能力… 这是某种因素,然后乘以… 从 AlexNet 到 ResNet 到 Transformer,解决问题所需的计算量一直在稳步提高,但这些都是 S 曲线,不是吗?
Lex Fridman: 是的,这正是从一开始就支撑着摩尔定律的 S 曲线。那么,你认为未来最有成效、最丰富的 S 曲线来源是什么?是硬件、软件,还是…?
Jim Keller: 硬件将会相对缓慢地发展,比如每两年性能翻一番。还有…
Lex Fridman: 我喜欢你把这叫做“慢”。
Jim Keller: 哈哈,这是慢速版本,蜗牛速度的摩尔定律,也许我们应该注册一个商标。而按计算机数量进行扩展的速度可以快得多。我确信在某个时候,谷歌的初始搜索引擎是在一台笔记本电脑上运行的。然后在某个时候,他们真正致力于扩展它,然后他们把索引器分成不同的部分,把数据分散到更多的设备上,他们做了很多创新。但随着他们在上面扩展计算机的数量,它不断地出现问题,在他们的软件和调度程序中发现了新的瓶颈,这让他们重新思考。在 1000 台计算机上进行调度,然后把结果发送到一台计算机上,这似乎很疯狂,但如果你要调度一百万次搜索,这就完全合理了。所以,仅仅通过数量进行扩展可能是最丰富的,但当你扩展数量时,一个在 100 台计算机上表现出色的网络,在 10000 台计算机上可能完全是错误的网络,你可能会选择一个在 10000 台计算机上慢 10 倍的网络,但是如果你从 100 台扩展到 10000 台,那就是 100 倍。这是我们在进行互联网扩展时发生的事情之一,效率下降了,而不是上升了。
Lex Fridman: 未来的计算是低效的,而不是高效的?
Jim Keller: 但可以扩展。
Lex Fridman: 低效的规模。
Jim Keller: 它的扩展速度比低效带来的负面影响要快。只要有… 经济价值在那里。扩展需要花费大量的金钱,但是谷歌、Facebook,所有人都证明了规模就是金钱所在,所以这在经济上是值得的。
Lex Fridman: 你认为有没有可能,基本上整个地球都会变成一个计算表面,这张桌子会进行计算,这个刺猬会进行计算,所有东西都会进行非常低效的、愚蠢的计算?
Jim Keller: 科幻小说里把它叫做“计算体”(Computronium),把一切都变成计算。
Lex Fridman: 计算…
Jim Keller: 大多数元素都没有什么用,你不可能用铁制造计算机。硅和碳有很好的结构,我们会看看我们能用其他的元素做什么。人们谈论,也许我们可以把太阳变成计算机,但它是氢和一点氦。
Lex Fridman: 我的意思是,实际上只是在所有东西上都添加计算机。
Jim Keller: 哦,好吧。
Lex Fridman: 所以不是把… 你是在讽刺… 从模拟的角度来看,就像模拟器构建质量来模拟…
Jim Keller: 是的,我的意思是,最终,这一切都将走向模拟。
Lex Fridman: 是的。
Jim Keller: 我想我可能给你讲过这个故事,在特斯拉,他们决定… 他们想测量电池的输出电流,他们在放入电阻和放入带有传感器的计算机之间做选择,这台计算机比我在 1982 年使用的计算机还要快。我们选择了计算机,因为它比电阻便宜。所以,当然,这个刺猬,它花了 13 美元,我们可以花 5 美元在里面放一个比你聪明的人工智能,它会有一个… 所以计算机会…
Lex Fridman: 我希望它不会比我聪明,因为…
Jim Keller: 所有东西都会比你聪明。
Lex Fridman: 但你说它效率低,我想最好有很多…
Jim Keller: 摩尔定律会慢慢地压缩这些东西,所以即使是愚蠢的东西也会比我们聪明。愚蠢的东西会变得聪明,或者它们会足够聪明,可以和真正聪明的东西对话。你要记住,一个大型计算机芯片,大概一英寸乘一英寸,40 微米厚,制造一台高性能计算机不需要很多原子,而且 10000 个这样的计算机可以装进一个鞋盒里。但是,你有散热和供电的问题,人们正在解决这个问题。但是他们仍然不能写出引人入胜的诗歌或音乐,或者理解什么是爱,或者害怕死亡。所以我们仍然…
Lex Fridman: 大多数人也不能。
Jim Keller: 好吧,他们可以写关于它的书,所以… [笑声]
深度学习硬件
Lex Fridman: 但是说到这个,沿着创新之路走向… 愚蠢的东西比人类更聪明。你现在是 Tenstorrent 的首席技术官,大概两个月前加入的,他们构建深度学习硬件。你如何构建可扩展且高效的深度学习?这是一个非常迷人的领域。
Jim Keller: 是的,这很有趣。直到最近,我还以为有两种计算机,一种是运行 C 程序之类的串行计算机,另一种是并行计算机。我的理解是,并行计算机具有给定的并行性,比如 GPU 很棒,因为你有一百万个像素,现代 GPU 在每个像素上运行一个叫做着色器程序的程序。或者像有限元分析,你构建一个东西,把它分成小块,把每一块交给一台计算机,所以你把所有这些块都交给一个并行的东西。但大多数 C 程序,你写的是一个线性的叙述,你必须让它运行得很快,为了让它运行得很快,你预测所有的分支、所有的数据获取,然后并行运行,但这是发现的并行性。人工智能,我还在决定这有多么根本性的不同,这是一个给定的并行性问题,但人们描述神经网络的方式,以及他们在 PyTorch 中编写它们的方式,它生成的是图。
Lex Fridman: 是的。
Jim Keller: 这可能与 GPU 的那种并行性有根本的不同。
Lex Fridman: 可能是的,因为当你在所有像素上运行 GPU 程序时,你在运行… 取决于… 这组像素,比如说它是背景蓝色,然后运行一个非常简单的程序,这个像素是你脸上的某个部分,所以你需要一些非常有趣的着色程序来给你半透明的印象,但像素之间并不相互通信,没有图。所以你处理图像,然后处理下一个图像,再处理下一个图像,你运行 800 万个像素,每次运行 800 万个程序。现代 GPU 有大约 6000 个线程引擎,所以为了得到 800 万个像素,每个线程引擎在 10 或 20 个像素上运行一个程序,这就是它们的工作原理,但没有图。
Lex Fridman: 但你认为图可能是一种全新的硬件思考方式?
Jim Keller: 所以 Raja Koduri 和我一直在讨论给定的并行性和发现的并行性,以及随着晶体管数量的增加,计算机的发展历程。很久以前的计算机处理标量数据,然后我们处理矢量数据,著名的矢量机,现在我们制造的计算机处理矩阵。我们说的下一个类别是空间性的,想象一下你有这么多数据,你想对这些数据进行计算,当它完成后,它会说:“把结果发送到这堆数据,在那上面运行一些软件。” 最好从空间的角度来考虑它,而不是把所有的数据都移动到一个中央处理器上进行所有的工作。
Lex Fridman: 空间性的,我的意思是在数据空间中移动,而不是移动数据?
Jim Keller: 是的,你有一个分布在大量计算机上的 PB 级数据空间,当你在某个地方进行计算时,你把计算结果发送到… 或者可能是一个指向下一个程序的指针,发送到另一块数据,然后执行。但我认为一个更好的词可能是“图”,所有的 AI 神经网络都是图。进行一些计算,把结果发送到这里,进行另一个计算,进行数据转换,进行合并,进行池化,再进行另一个计算。
Lex Fridman: 是否有可能… 压缩并说明我们如何使这个过程高效,整个过程高效?
Jim Keller: 这是不同的。首先,图中的基本元素是矩阵乘法、卷积、数据操作和数据移动。GPU 用它们的小的… 基本上运行单线程程序来模拟这些操作,然后有一个… 英伟达称之为“warp”,他们把一组相似的程序组合在一起,以提高指令使用的效率。然后在更高的层次上,你处理这个图,然后说:“图的这一部分是一个矩阵乘法,它在这些 32 个线程上运行。” 但是底层的模型是为在像素上运行程序而构建的,而不是执行图。
Lex Fridman: 所以这是模拟?
Jim Keller: 是的。
Lex Fridman: 那么是否有可能构建一个原生运行图的东西?
Jim Keller: 是的,这就是 Tenstorrent 所做的。
Lex Fridman: 那我们现在处于什么阶段?在整个过程中,我们处于早期阶段吗?
Jim Keller: 我想是的。Tenstorrent 是我的一个朋友 Ljubisa Bajic 创办的,我是他的第一个投资者,所以我多年来一直关注他,并与他讨论这个问题。在秋天,当我考虑要做的事情时,我决定… 我们去年和一个朋友组织了一次会议,我们想邀请一些思想家,其中两个人是 Andrej Karpathy 和 Chris Lattner。Andrej 在 YouTube 上做了一个名为“软件 2.0”的演讲,我认为这很棒,我们从编写程序的程序化计算机转向了数据程序化计算机,未来的软件是数据程序,是网络,我认为这是对的。然后 Chris 一直在研究 LLVM,低级虚拟机,它成为了所有编译器的中间表示。现在他正在研究另一个名为 MLIR 的项目,中级中间表示,它本质上是在图的下面,关于如何表示这种计算,然后协调大量可能异构的计算机。我想说,从技术上讲,Tenstorrent 的两个支柱就是这两个想法:软件 2.0 和中级表示,但它是为了执行图程序而服务的,硬件就是为此而设计的。
Lex Fridman: 包括硬件部分?
Jim Keller: 是的,然后另一件很酷的事情是,他们用相对较少的资金完成了一个测试芯片和两个生产芯片,所以这是一个非常高效的团队。与一些 AI 初创公司不同,如果你不构建硬件来运行他们真正想做的软件,那么你就必须通过编写更多的软件来修复它。硬件本身就能进行矩阵乘法、卷积、数据操作以及处理元件之间的数据移动,你可以在图中看到这些,我认为这非常聪明,这就是我现在正在做的事情。
让神经网络快速扩展
Lex Fridman: 去年推出的灰颅(Grayskull)处理器,有很多性能指标,我们谈论的是“马”,它似乎… 每秒 368 万亿次运算,似乎优于英伟达的 Tesla T4 系统。这些只是数字,它们在实际性能中意味着什么?你追求的指标是什么?你关心什么?
Jim Keller: 首先,编写 AI 网络程序的人使用的原生语言是 PyTorch。现在,PyTorch、TensorFlow,还有其他一些,PyTorch 胜过了 TensorFlow,只是… 我不是这方面的专家,我知道很多人已经从 TensorFlow 转向了 PyTorch。
Lex Fridman: 是的,这有技术原因,我都用过,它们都很棒。
Jim Keller: 是的,都很棒,但目前人们更喜欢 PyTorch。
Lex Fridman: 是的,人们更喜欢它,这可能会改变。
Jim Keller: 所以首先,当他们编写程序时,硬件能否按照编写的方式执行它?PyTorch 变成一个图,我们有一个图编译器来生成这个图,然后它把图分解,所以如果你有一个大的矩阵乘法,我们把它变成大小合适的块,在处理元件上运行,它把所有的图连接起来,布局所有的数据,有几个中间表示,这些表示也是可模拟的,所以如果你在编写代码,你可以看到它是如何通过机器的,这很酷。然后在底层,它调度内核,比如数学、数据操作、数据移动内核来完成这些工作。所以我们不需要编写一个小程序来进行矩阵乘法,因为我们有一个大的矩阵乘法器,没有针对它的 SIMD 程序,但有针对它的调度。所以我们的目标之一是,如果你写了一段看起来相当合理的 PyTorch 代码,你应该能够编译它,在硬件上运行它,而不必调整它,做各种疯狂的事情来获得性能。
Lex Fridman: 没有很多中间步骤?它是直接运行的?
Jim Keller: 就像在 GPU 上,如果你天真地写一个大的矩阵乘法,你将获得 GPU 峰值性能的 5% 到 10%。有很多… 有很多人发表了关于这个的论文,我读了它们,关于你必须做什么步骤,它从相当合理的… “好吧,转置其中一个矩阵,这样你就可以按行或列的顺序进行操作,把它分块,这样你就可以把矩阵的一个块放在不同的 SM(流式多处理器)上,也就是线程组。” 但其中一些涉及到一些小细节,比如你必须非常精确地调度它,这样你就不会有寄存器冲突。所以… 他们称之为 CUDA 忍者,我喜欢这个称呼。为了达到最佳点,你要么使用预先编写的库,这对某些事情来说是一个好的策略,要么你必须是微架构方面的专家才能编写它。
Lex Fridman: 所以优化步骤在 GPU 上要复杂得多?
Jim Keller: 我们的目标是,如果你编写了好的 PyTorch,你就可以做到。现在,随着网络的发展,它们已经从卷积变成了矩阵乘法,人们在谈论条件图,谈论非常大的矩阵,谈论稀疏性,谈论跨多个芯片扩展的问题。所以原生的数据项是一个数据包,你把一个数据包发送到一个处理器,它被处理,做一堆工作,然后它可能会把数据包发送到其他处理器,它们像数据流图一样执行。我们有一个大的片上网络,16… 下一个,第二个芯片有 16 个以太网端口,它们把很多芯片连接在一起,并且在多个芯片上使用相同的图编译器,这就是规模的来源。所以它是为了自然扩展而构建的。根据我的经验,随着规模的扩大,你会遇到很多有趣的问题。
Lex Fridman: 所以扩展是需要攀登的山峰?
Jim Keller: 是的,硬件是为了做到这一点而构建的,然后我们正在…
Lex Fridman: 这其中有软件部分吗?关于以太网和所有这些…
Jim Keller: 底层的协议… 我们发送… 它是一个以太网物理层,但协议基本上是说:“把一个数据包从这里发送到那里。” 这是点对点的,头部的信息说明了要把它发送到哪个处理器,我们基本上从我们的片上网络上取下一个数据包,加上一个以太网头部,把它发送到另一端,去掉头部,然后把它发送到本地,这非常简单。
Lex Fridman: 人类的互动也非常简单,但当我们达到一百万人的时候,我们可以一起做一些疯狂的事情。
Jim Keller: 这可能会很有趣。
Lex Fridman: 所以这就是目标,扩展?例如,我最近在家里为我个人的乐趣做了很多机器人,我是否会使用 Tenstorrent?还是说这更多的是针对…
Jim Keller: 有很多问题,比如小的推理问题或小的训练问题,还有大的训练问题。
Lex Fridman: 大的目标是什么?是大的… 训练问题还是小的训练问题?
Jim Keller: 我们的目标之一是从 100 毫瓦扩展到 1 兆瓦,所以真的… 对各种问题都有一定的范围,并且相同的人工智能程序可以在所有不同的级别上工作,这很酷。因为自然的数据项是一个我们可以四处移动的数据包,所以它是为了扩展而构建的。但是很多人都有小的问题。
Lex Fridman: 对,对,但是…
Jim Keller: 在那个手机里有一个小的问题需要解决。
Lex Fridman: 你认为 Tenstorrent 有可能出现在手机里吗?
Jim Keller: 本地内存、本地计算的功耗效率,以及我们构建它的方式都相当不错。而且在进行条件图和稀疏性方面有很多效率,我认为对于复杂的网络,我想在一个小的… 方面做得很好。我们必须证明这一点,这是一个有趣的问题,这是公司的早期阶段,你说只有几年?
Lex Fridman: 但你认为… 你投资了,你认为他们是合法的?
Jim Keller: 是的,因为你加入了。
Lex Fridman: 哈哈,是的。
Jim Keller: 这也是一个非常有趣的地方,人工智能世界正在爆发。我考虑过一些其他的机会,比如制造一个更快的处理器,这是人们想要的,但这更像是一条渐进的道路,而不是人工智能在未来 10 年将要发生的事情。所以这是一个令人兴奋的地方,可以成为革命的一部分。很多人都在研究它,但有很多技术原因导致其中一些… 不会那么成功,这很有趣。还有同样的问题,就是要把基础的东西做好。我们和客户谈论令人兴奋的功能,在某个时刻,我们意识到,每个部门… 他们想先听听关于内存带宽、本地带宽、计算强度、可编程性,他们想知道基础的东西,电源管理,网络端口是如何工作的,基础的东西是什么?所有的基础的东西都能工作吗?因为很容易说:“我们有一个很棒的想法,可以破解 GPT-3。” 但我们交谈过的人想知道:“如果我买了它…” 我们有一个带有我们芯片的 PC Express 卡,“如果你买了这张卡,把它插到你的机器里,下载驱动程序,我需要多长时间才能让我的网络运行起来?”
Lex Fridman: 对,对,这是一个实际的问题。
Jim Keller: 这是一个非常基本的问题。
Lex Fridman: 所以,有答案了吗?还是说…?
Jim Keller: 我们的目标是大约一个小时。
Lex Fridman: 我什么时候可以买到… ?
Jim Keller: 很快,对于小规模训练来说,很快,几个月。
Lex Fridman: 好,我喜欢你…
Andrej Karpathy 和 Chris Lattner
Lex Fridman: 和 Karpathy, Andrej Karpathy, 还有 Chris Lattner 在一个房间里的想法。非常… 非常有趣,非常聪明的人,非常跳出框架思考的人,但也是第一性原理思考者。
Jim Keller: 他们都能完成任务,他们能完成任务,能清晰地表达出来,他们教育了很多人,他们创造了平台,让其他人可以在上面做他们的工作。
Lex Fridman: 是的,清晰的思维能够被传达出来,这令人印象深刻,这非常了不起。
Jim Keller: 是的,我是粉丝。
Lex Fridman: 我想问一下,因为我和 Chris 实际上经常聊天,他… 给他点个赞,他作为一个人的支持非常大。每个人都非常不同,伟大的工程师也各不相同,但他对人性的敏感程度令人着迷。他是最早支持我做这个愚蠢的播客的人之一,他说:“不要放弃这个,和任何你想交谈的人交谈。” 从一个合法的工程师那里得到这样的支持,并被告知“你可以做到”,这是…
Jim Keller: 这就是一个好的领导者所做的,对吧?他们只是让一个小孩子去做他的事情,去做吧,让我们看看,看看会发生什么。这是一件非常有力的事情。
Lex Fridman: 但是,你… 你对他有什么看法?他曾经… 不,我想他从谷歌离职了,对吧?他说… 是 Sೈ-Fೈ?你觉得 Chris 所做的事情中,有哪些真正令你印象深刻?因为我们提到了优化、编译器设计、LLVM,还有他在谷歌的 TPU 工作,他还参与了 Swift 的开发,所以…
Jim Keller: 编程语言方面,谈论的是那些在整个技术栈上工作的人。
Lex Fridman: 是的,你与 Chris 互动并了解他,是什么真正让你印象深刻?是什么激励了你?
Jim Keller: LLVM 成为… 事实上的编译器平台,这很了不起。它的代码质量很好,设计选择也很好,他把握了正确的抽象级别,这其中有一点时机和位置的因素。然后他开发了一门新的编程语言,叫做 Swift,在经历了一些… 可以说是采用阻力之后,它变得非常成功。我对他在谷歌的工作了解不多,尽管我知道… 那是典型的,他们开始了 TensorFlow 的工作,这是新的,他们写了很多代码,然后在某个时候,它需要被重构,因为它的开发速度变慢了。为什么 PyTorch 起步较晚,然后超过了它?所以他在这个方面做了很多工作。然后是他的 MLIR 想法,人们开始意识到,低级 IR 之上的软件栈的复杂性变得如此之高,以至于把这些特性强加到一个层面上给它带来了太多的负担。所以他把它分成多个部分,这是我们软件栈的灵感之一,我们有几个中间表示,它们都是可执行的,你可以在降低级别之前查看它们并对它们进行转换。所以这是… 我想我们在 MLIR 真正取得足够进展之前就开始了,但我们对它很感兴趣。
Lex Fridman: 他对此非常兴奋,MLIR,这是他的宝贝,所以他…
Jim Keller: 其中似乎有一些深刻的想法非常有用。所以,每一个项目都是… 随着软件世界变得越来越复杂,我们如何创建正确的抽象级别来简化它,以便人们现在可以在不同的级别上独立工作?所以我想说,所有这三个项目,LLVM、Swift 和 MLIR 都成功地做到了这一点。
Lex Fridman: 所以我很想知道他接下来要做什么。
Jim Keller: 以同样的方式,是的。
GPU 的工作原理
Lex Fridman: 在 TPU 或许是英伟达 GPU 方面,你认为 Tenstorrent,或者说它背后的理念,不一定是 Tenstorrent,而是这种以图为中心的硬件,以深度学习为中心的硬件,能击败英伟达吗?你认为它有可能基本上超越英伟达吗?
Jim Keller: 当然。
Lex Fridman: 你认为这个过程会是什么样的?这段旅程会是什么样的?
Jim Keller: GPU 是围绕数百万像素上的着色程序构建的,而不是为了运行图。所以有一个假设是,图的构建方式对于计算来说是非常低效的,而且原语不是 SIMD 程序,而是矩阵乘法、卷积,然后数据操作相当广泛,比如如何用程序进行快速转置?我不知道你是否写过转置程序,它们既丑陋又缓慢,但在硬件中你可以做得很好。我举个例子,当 GPU 加速器刚开始处理三角形时,一个三角形映射到一组像素上,所以构建一个硬件引擎来找到所有这些像素是非常容易的,这有点奇怪,因为你要沿着三角形走到边缘,然后你必须回到下一行,沿着走,然后你必须在边缘上决定,如果三角形的线有一半在像素上,像素的颜色是什么?因为它的一半在这个像素上,一半在下一个像素上,这叫做光栅化。
Lex Fridman: 因为你说这可以用硬件来完成?
Jim Keller: 现在,这是一个操作的例子,作为一个软件程序,它非常糟糕。我写过一个进行光栅化的程序,进行光栅化的硬件实际上比进行光栅化的软件程序代码量还要少,而且它快得多。所以在某些时候,当你有一个抽象,比如光栅化一个三角形,执行一个图,图的组成部分,在硬件和软件的边界上,正确的做法是让硬件自然地完成它。所以 GPU 针对三角形的光栅化进行了优化。
Lex Fridman: 不,那只是…
Jim Keller: 在现代… 那是现代 GPU 的一小部分。他们所做的是,当你运行游戏时,他们仍然光栅化三角形,但在大多数情况下,GPU 中大部分的计算区域都在运行着色程序,但它们是在像素上运行的单线程程序,而不是图。
Lex Fridman: 老实说,我实际上不知道着色、光照等背后的数学原理,我不知道…
Jim Keller: 它们看起来像简单或复杂的浮点程序,你可以在一个着色程序中有 8000 条指令,但我没有一个很好的直觉,为什么它可以如此容易地并行化。
Lex Fridman: 不,这是因为你有 800 万个像素,每一个… 所以当有一束光照下来,你知道,照射的角度… 比如说这是一张桌子上的一行像素,每个像素上的光量都略有不同,每个像素都负责计算出…
Jim Keller: 计算出来。
Lex Fridman: 所以那个像素说:“在这个像素上,我知道光的角度,我知道遮挡,我知道颜色,我是…” 这里的每个像素都是不同的颜色,每个像素都有不同的光量,每个像素都有略微不同的半透明度。所以为了让它看起来逼真,解决方案是你在每个像素上运行一个单独的程序。
Jim Keller: 但我以为会有来自各个方向的反射…
Lex Fridman: 每个… 是的,但是有…
Jim Keller: 所以你要构建一个反射贴图,它也有一些像素化的东西,然后当像素查看反射贴图时,它必须计算出表面的法线,它是逐像素计算的。顺便说一句,这其中有很多技巧,你可能会有一个较低分辨率的光照贴图、反射贴图,有很多这样的技巧,但在一天结束时,它是逐像素计算的。
Lex Fridman: 而且碰巧你可以把类似图的计算映射到这个像素上?
Jim Keller: 本质上,你可以对卷积和矩阵进行浮点运算,英伟达多年来一直在 CUDA 上投资…
特斯拉自动驾驶、NVIDIA 和 Mobileye
Jim Keller: 首先是为了 HPC,然后他们很幸运地赶上了 AI 的潮流。
Lex Fridman: 但是你认为他们基本上无法彻底摆脱…?
Jim Keller: 我们会看到。这总是很有趣,大公司多久会彻底转型一次?偶尔。
Lex Fridman: 你对英伟达的人了解多少?
Jim Keller: 一些,是的。
Lex Fridman: 我也很好奇,最终,作为一个…
Jim Keller: 他们已经创新了几次,但他们也真的在移动领域努力过,在无线电领域努力过。你知道,他们从根本上是一家 GPU 公司。
Lex Fridman: 好吧,他们试图转型。这是一个有趣的小游戏,在自动驾驶汽车中,或者半自动驾驶,与特斯拉等公司合作。这是一种尝试性的转型,他们推出了这个平台,从技术上讲很有趣。
Jim Keller: 是的,但它是一个 3000 瓦… 1000 瓦,3000 美元的 GPU 平台。
Lex Fridman: 我不知道它在技术上是否有趣,它在哲学上很有趣。
Jim Keller: 在技术上,我不知道它的执行… 工艺是否到位,我不确定,但我没有感觉到他们在重新利用 GPU 来开发汽车解决方案。
Lex Fridman: 这不是一个真正的转型,他们没有…
Jim Keller: 他们没有构建一个全新的解决方案。就像特斯拉内部的芯片非常便宜,Mobileye 一直在这样做,他们在做经典的工作,从最简单的事情做起。他们以前制造 40 平方毫米的芯片,而英伟达的解决方案有两个 800 平方毫米的芯片和两个 200 平方毫米的芯片,还有… 大量的非常昂贵的 DRAM,这是一个非常不同的方法。Mobileye 符合汽车的成本和外形尺寸,然后在经济可行的情况下添加功能。英伟达说:“采用最大的东西,我们要让它发挥作用。” 这也影响了… Waymo,有很多自动驾驶初创公司,他们的后备箱里有一个 5000 瓦的服务器。但那是因为他们认为 5000 瓦和 10000 美元是可以接受的,因为它取代了司机。埃隆的做法是,这个部件必须足够便宜,可以安装在每一辆特斯拉上,无论他们是否启用自动驾驶。而 Mobileye 则说:“我们需要符合汽车公司的 BOM 和成本结构。” 所以他们可能会以 1500 美元的价格卖给你一个 GPS,但它的 BOM 成本只有 25 美元。
Lex Fridman: 对于 Mobileye 来说,似乎神经网络并不是一等公民,就像计算…
Jim Keller: 他们不是从… 开始的。
Lex Fridman: 这是一个 CV 问题,是的。
Jim Keller: 是的,他们做了经典的 CV,发现了停止标志和线条,他们在这方面做得非常好。他们从未… 我不知道现在发生了什么,但他们从未完全转型。这就像英伟达的事情,而不是… 所以如果你看看特斯拉的新工作,它是从底层开始的神经网络。
Lex Fridman: 是的,对。
Jim Keller: 是的,即使是特斯拉,一开始也有很多 CV 的东西,Andrej 基本上一直在消除它,把一切都转移到网络中。
Lex Fridman: 这不是什么机密信息,你坐在门廊上俯瞰世界,看着 Andrej 正在做的工作,埃隆正在用特斯拉自动驾驶做的工作,你喜欢事情发展的轨迹吗?
Jim Keller: 他们在取得重大进展,我喜欢人们驾驶 Beta 版的视频,它正在处理一些非常复杂的十字路口等等,但它仍然需要干预才能驾驶。我有自动驾驶,我特斯拉当前的自动驾驶,我每天都用。
Lex Fridman: 你有完全自动驾驶 Beta 版吗?
Jim Keller: 没有,没有。
Lex Fridman: 所以你喜欢这个发展方向?
Jim Keller: 我们正在取得进展,它花费的时间比任何人想象的都要长。我想知道的是,硬件 3 的计算能力是否足够?差了 2 倍?差了 5 倍?差了 10 倍?差了 100 倍?我曾经认为它可能不够,但他们现在做得相当不错。
Lex Fridman: 是的,有一件事是…
Jim Keller: 数据集越大,训练效果越好。然后有一件有趣的事情是,你训练和构建一个任意大小的网络来解决问题,然后你把网络重构成你可以负担得起的东西。所以目标不是构建一个适合手机的网络,而是构建一个真正有效的东西,然后你如何在你拥有的硬件上最有效地实现它?他们在这方面似乎比几年前做得好得多。
Andrej Karpathy 和软件 2.0
Lex Fridman: 他们做得很好的一件非常重要的事情是如何快速迭代,这意味着它不仅仅是一次性的部署,一次性的构建,而是不断地输入网络,并尝试尽可能多地自动化步骤。这实际上是软件 2.0 的原则,就像你提到的 Andrej,它不仅仅是… 我不知道他对软件 2.0 的实际描述是什么,是高层次的哲学,还是有具体的细节,但在现实世界中,这实际上看起来很有趣,这就是 Andrej 所说的“数据引擎”。这是一种迭代改进,你有一个神经网络,它做一些事情,在很多事情上失败,然后一遍又一遍地从中学习。所以你不断地发现边缘情况,所以这在很大程度上是关于数据工程,就像弄清楚… 这有点像你说的 Tenstorrent,你有数据环境,他们必须沿着数据环境走,以一种不断改进神经网络的方式,这感觉是它的核心部分。
Jim Keller: 是的,它本身… 有两个部分,你发现不起作用的边缘情况,然后你定义一些东西去获取这些数据。但另一个限制是你是否必须标记它,像 GPT-3 的惊人之处在于它是无监督的,所以基本上有无限量的数据。现在显然有无限量的数据可以从人们成功驾驶的汽车中获得,但目前的流程主要是在标记数据上运行,这是受人类限制的。所以当它变成无监督的时候,它将创造无限量的数据,然后他们将扩展。现在,可能使用这些数据的网络对于汽车来说太大了,但接下来将会发生从“现在我们拥有无限数据,我确切地知道我想要什么”到“现在我能否把它变成适合汽车的东西”的转变。这个过程将在各处发生,每次你达到拥有无限数据的地方,这就是软件 2.0 的意义所在,无限数据,训练网络来做事,而不需要人类编写代码来做。
Lex Fridman: 并最终尝试发现,就像你说的,问题的自监督公式,问题的无监督公式。在驾驶中,有一件非常有趣的事情,你看到一个在你面前的场景,你有关于一个成功的人类驾驶员在这个场景中做了什么的数据
Jim Keller: 一秒钟后,这是一小段你可以用来训练的数据,就像 GPT-3 一样。即使特斯拉说他们正在使用它,对我来说,一个悬而未决的问题是,你能用这些自监督的数据解决所有的驾驶问题吗?我认为 Comma AI 正在这样做,但问题是需要多少数据?因为我们在这里非常随意地使用了“无限”这个词。
Lex Fridman: 然后另一个问题,你说的,我不知道你是否认为这仍然是一个悬而未决的问题,我们是否处于所需计算的正确数量级?埃隆说的现在芯片已经足够实现完全自动驾驶,还是我们需要另一个数量级?
Jim Keller: 我认为没有人真正知道这个问题的答案。我喜欢埃隆的自信,但我们会看到。还有一件有趣的事情是,你不是通过无限量的数据来学习驾驶的,你是通过一个理解物理、颜色、水平面、法律、道路以及你操纵环境的所有经验的智力框架来学习驾驶的。你看,有很多因素在起作用,所以当你学习驾驶时,驾驶是你所拥有的这个概念框架的一个子集。所以对于自动驾驶汽车,我们现在正在教它们用驾驶数据来驾驶,你永远不会这样教一个人,你会教一个人各种有趣的事情,比如语言,“不要那样做”,“小心”,有很多事情在发生。
Lex Fridman: 这就是你… 我想我们上次谈话中,你诗意地不同意我对人类的幼稚看法,我只是认为人类会让整个驾驶变得非常困难。
Jim Keller: 好吧,就像我说的,人类的移动速度没有那么快。
Lex Fridman: 这是一个弹道问题,这是一个弹道… 人类… 零,弹道问题,这对我来说就像诗一样。
Jim Keller: 很有可能在驾驶中,它们确实只是一个弹道问题,我认为这可能是正确的思考方式,但我仍然… 他们仍然继续让我感到惊讶,那些该死的行人、骑自行车的人、其他人类和其他汽车。但这将是一个补偿性的事情,就像你在开车时,你对人类将要做什么有一个直觉,但你没有 360 度摄像头和雷达,你还有一个注意力问题。所以自动驾驶汽车没有注意力问题,有 360 度摄像头,还有很多其他的功能。所以它们将消除一整类的事故,而且… 紧急制动与雷达,特别是当它得到… 人工智能增强后,将消除碰撞。但你还有其他问题,这些意想不到的事情,你认为你的人类直觉在帮助你,但汽车也有你甚至无法企及的一系列硬件功能。当然,关键是,如果你消除了大量的事故,那么即使人类仍然是一个难以解决的问题,它也可能比人类驾驶员安全得多。
Lex Fridman: 是的。
Jim Keller: 这可能会发生,自动驾驶汽车将会有少量人类可以避免的事故,但它们将消除大部分事故。
特斯拉 Dojo
Lex Fridman: 你怎么看待特斯拉的 Dojo 项目?或者它可以比特斯拉更大,总的来说,这有点像 Tenstorrent,试图创新。这是一个… 应该一个公司尝试从头开始构建自己的神经网络训练硬件吗?
Jim Keller: 首先,我认为这很棒,我们需要大量的实验。有很多初创公司在做这个,他们在追求不同的东西。我在那里,当我们开始 Dojo 的时候,有点像是,解决非常大的训练问题的无约束计算机解决方案是什么?然后有一些有趣的东西,比如我们说,“我们有这个 10000 瓦的板子需要冷却。” 你去和 SpaceX 的人谈谈,他们认为 10000 瓦是一个非常小的数字,而不是一个大数字。有很多聪明人在做这个,我很好奇它会如何发展,我无法告诉你,我知道自从我离开后它已经转型了几次。
Lex Fridman: 所以冷却似乎是一个大问题。
Jim Keller: 我喜欢埃隆关于它说过的话,他说:“除非它比替代方案好得多,否则我们不想做这件事。” 无论替代方案是什么,它必须比成堆的 GPU 好得多。
Jim Keller: 另一件事是,就像… 特斯拉自动驾驶硬件,它只服务于一个软件栈,硬件团队和软件团队紧密合作。如果你正在构建一个通用的 AI 解决方案,那么… 有这么多不同的客户,有这么多不同的需求。现在 Andrej 说了一些话,我认为这很了不起,10 年前,视觉、推荐、语言是完全不同的学科,我们说人们实际上无法互相交谈。三年前,它们都是神经网络,但却是非常不同的神经网络。最近,它正在融合到一组网络上,它们的大小显然差别很大,它们的数据和输出也各不相同,但这项技术已经融合了很多。
Lex Fridman: 是的,GPT-3 背后的 Transformer 似乎可以应用于视频,可以应用于很多…
Jim Keller: 是的,它们都是… 就像,实际上是用像素替换字母,它就能处理视觉,这很神奇。而且大小实际上提高了它的性能,所以它越大,你投入的计算越多,它就越好,你拥有的数据越多,它就越好。所以,所以,然后你开始怀疑,这是一个根本性的东西,还是这只是对这种计算的一些基本理解的又一步?这真的很有趣。
神经网络将比人类更好地理解物理
Lex Fridman: 我们人类不想相信那种东西会实现概念上的理解,你说过…
Jim Keller: 你会弄清楚物理,但也许它会。
Lex Fridman: 也许…
Jim Keller: 很可能会。
Lex Fridman: 好吧,更糟糕的是…
Jim Keller: 它将以我们无法理解的方式理解物理。
Lex Fridman: 我喜欢听 Stephen Wolfram 的演讲,他说,有三代物理学,第一代是通过推理来理解物理学,“大的东西应该比小的东西下落得快”,这是推理。然后是通过方程来理解物理学,但是世界上用单个方程解决的程序数量相对较少,几乎所有的程序都有不止一行代码,可能有 1 亿行代码。所以他说,现在我们将通过方程进入物理学,这是他的项目,这很酷。我想指出的是,在推理之前还有两代物理学,习惯,像所有的动物,都知道东西会掉下来,鸟会飞,捕食者知道如何解决一个微分方程来切断一个加速的、弯曲的动物路径。然后是… 上帝做的,对吧?所以…
Lex Fridman: 对,对。
Jim Keller: 现在有五代了。软件 2.0 说编程不是最后一步,数据… 所以将会有一个物理学…
Lex Fridman: 在 Stephen Wolfram 的… 之后。
Jim Keller: 那是无法解释的。而且实际上,我看不到有任何理由认为这就是极限,在那之上还有一些东西。它们通常是… 通常当你有一个层次结构时,它不是… 如果你有这一步、这一步、这一步,它们在性质上和概念上都不同,那么不清楚为什么六是层次结构的正确步骤数,而不是七或八或…
Lex Fridman: 那么我们可能无法理解超越无法解释的事物之外的事物。
Jim Keller: 是的,因为我认为… 知道对我们来说无法解释的事物的那个事物,将会构思下一个事物,我不知道为什么这会有一个极限。
Lex Fridman: 你的大脑很疼,这是一个悲伤的故事。如果我们看看我们自己的大脑,这是一个…
重新设计人脑
Lex Fridman: 有趣的说明性例子。在你与 Tenstorrent 合作设计深度学习架构的工作中,你是否考虑过大脑?也许从硬件设计师的角度来看,如果你可以改变大脑的某些东西,你会改变什么?或者… 有趣的问题,你会如何…?
Jim Keller: 所以你的大脑真的很奇怪,你知道,我们认为我们大部分思考发生的大脑皮层,只有六七个神经元那么厚,这很奇怪。所有的大网络都比它大得多,深得多,这似乎很奇怪。然后,当你在思考时,如果输入产生了结果,你可以… 它进行得很快,但如果它不能产生一个输出,那很有趣,它会变成一个输入,然后你的大脑… 你会思考好几天,这要经过你的大脑多少次?大概是 300 毫秒通过七层神经元,我记不清确切的数字了,但它会一遍又一遍地这样做,因为它在搜索。大脑显然看起来像某种图,因为你有一个神经元,有连接,它与其他神经元通信,它在局部计算非常密集,但它也在一个相当大的区域内进行稀疏计算。有很多混乱的生物学类型的东西,而且… 它的意思是,首先,有机械信号、化学信号和电信号,这就是所有发生的事情。然后是… 信号的异步性,有很多可变性,看起来是连续的和混乱的,而且只是生物学的一团糟。不清楚这是好事还是坏事。
Lex Fridman: 因为如果这是一件好事,那么我们需要运行整个进化过程…
Jim Keller: 我们将不得不从基本的细菌开始,创造一些… 你可以用 10 层神经元构建一个大脑,那会更好还是更糟?或者更多的连接,或者更少的连接?我们不知道我们的大脑在什么程度上得到了优化。但如果我要改变一些东西,是的,你只能在脑海中记住大约 7 个数字,为什么不是 100 个或 100 万个?
Lex Fridman: 从未想过这一点。
Jim Keller: 为什么我们不能… 为什么我们不能有一个可以计算任何我们想要的东西的浮点处理器,并且可以正确地看到它?那会很有趣。为什么我们不能看到四维或八维?因为三维有点… 拖后腿,所有困难的质量变换都在多个维度上。所以有… 你可以想象一个大脑架构,你可以用一大堆对思考非常有用的功能来增强它。
Lex Fridman: 你描述的局限性可能是… 实际上对于创造… 像智力的深度这样的东西至关重要,推理的能力,这很难说。
Jim Keller: 因为你的大脑显然是一个并行处理器,100 亿个神经元以相对较低的时钟频率相互通信,但它产生的东西看起来像一个串行的思维过程,这是你脑海中的一个串行叙述。
Lex Fridman: 这是真的。
Jim Keller: 但也有一些人,著名的,是视觉思考者。我想我是一个相对的视觉思考者,我可以想象任何物体,在脑海中旋转它并观察它,而有些人说他们根本不那样思考。最近我读到一篇文章,关于那些说他们脑海中没有声音的人,他们可以说话,但当他们… 你在想什么?他们会描述一些视觉上的东西。所以这很奇怪。现在,如果你说,如果我们把更多的硬件用于保存信息,比如 10 个数字或 100 万个数字,这是否会分散我们形成这种单一身份的能力?它以某种方式消散了。但也许未来的人类将拥有许多具有更高层次组织的身份,但实际上可以并行做更多的事情。
Lex Fridman: 是的,如果我们从模块化的角度来思考,没有理由我们不能在一个大脑中拥有多个意识。
Jim Keller: 是的,也许有某种方法可以让它更快,这样… 计算的区域仍然可以有一个统一的感觉,但同时仍然有更多的能力去做并行的事情。
Lex Fridman: 绝对可以改进。
Jim Keller: 它可以改进,好吧,它现在已经很好了,实际上,人们没有给予它足够的赞扬,这个东西相当不错。你知道,事实上…
无限的乐趣和 Iain Banks 的文化系列
Jim Keller: 给整个体验增添了一丝美丽的火花,我不知道,我不知道它是否可以很容易地改进。
Lex Fridman: 它可以更美丽,我不知道如何…
Jim Keller: 以所有你无法想象的方式。
Lex Fridman: 不,但这就是重点,我无法想象…
Jim Keller: 我能想象…
Lex Fridman: 我能想象它可以更美丽的方式意味着… 你知道 Iain Banks 吗?他的故事…
Jim Keller: 所以那里的超级智能 AI 主要生活在他们称之为“无限乐趣”的世界里,因为他们可以创造任意的世界,所以他们互动… 故事中说,他们在正常世界中互动,他们非常聪明,他们可以做各种各样的事情,一个给定的思维可以同时与一百万人交谈,因为我们非常慢,出于某种原因… 人为的,在这个故事中,他们对人类和做事感兴趣,但他们主要生活在这个思考的另一个领域。
Lex Fridman: 我的倾向是认为,创造无限乐趣的能力将… 不会那么有趣。
Jim Keller: 这很悲伤,有很多事情可以做,想象一下能够移动一颗恒星,移动行星。
Lex Fridman: 是的,但是…
Jim Keller: 因为我们可以想象,就像…
Lex Fridman: 如果我们真的能够做到,那将是一个滑坡,乐趣甚至都没有意义,因为我们会通过无限量的乐趣不断地让自己脱敏,而悲伤… 黑暗的东西让它变得有趣,我想。
Jim Keller: 我的意思是,那可能是… 也可能是乐趣让它变得有趣,悲伤让它变得苦乐参半。
Lex Fridman: 这是真的。
Jim Keller: 乐趣可能是… 让它变得有趣的东西。
Neuralink
Lex Fridman: 你怎么看待不是通过生物学方面,而是通过 BCI,脑机接口来扩展?你有机会了解 Neuralink 的东西吗?
Jim Keller: 这非常有趣。人类… 我们的思想表现为行动,就像小时候,你知道,射击步枪非常有趣,驾驶迷你自行车,做事。然后电脑游戏,我想对很多孩子来说,变成了他们可以做他们想做的事情,他们可以驾驶飞机,他们可以做这个,他们可以做那个。但你必须有这种物理交互,现在想象一下,你可以想象一些事情,它就会发生,非常丰富和有趣。当我们做梦时,我们有点像那样,梦很有趣,因为如果你在梦中有一些控制或意识,它看起来非常逼真,或者不逼真,这取决于梦,但你也可以操纵它。那里有什么可能性是奇怪的,没有人理解这一点很搞笑。
Lex Fridman: 但是,你认为有可能通过计算来扩展这种能力吗?
Jim Keller: 当然。
Lex Fridman: 有没有一些有趣的… 所以从硬件设计师的角度来看,你认为它会带来全新的挑战吗?那种硬件… 这种硬件不是独立的计算…
Jim Keller: 这只是… 现在电脑游戏是由 GPU 渲染的。
Lex Fridman: 对,对。
Jim Keller: 但你见过 GAN 吗?
Lex Fridman: 是的。
Jim Keller: 训练过的神经网络可以渲染逼真的图像,但没有像素,没有三角形,没有着色器,没有光照贴图,什么都没有。所以未来的图形很可能是 AI。
Lex Fridman: 是的。
Jim Keller: 现在,AI 是通过大量真实数据进行大量训练的。如果你有一个与 AI 渲染器的接口,如果你说“渲染一只猫”,它不会说“猫有多高,有多大?” 它会渲染一只猫,你可能会说,“大一点,小一点,让它变成虎斑猫,毛短一点。” 你可以调整它,你必须发送的数据量,与一个非常强大的 AI 渲染器交互的数据量可能很低。
Lex Fridman: 但问题是,对于脑机接口,需要渲染的不是屏幕,而是大脑。
Jim Keller: 直接地。所以有一个带宽,你可以双向进行。我们的眼睛是非常好的传感器,它可以渲染到屏幕上,我们可以感觉自己参与其中。他们将… 就像 Oculus 那样的东西,当投射到你眼睛上的东西变得如此之好,以至于你认为它是真的,他们正在慢慢解决这些问题。我怀疑当信息渲染到你脑海中的过程也是 AI 介导的时,他们将能够给你你真正想要的深度和各种东西的线索。你的大脑可能在伪造你的视野,你的眼睛在抽搐,但你没有注意到,偶尔它们会眨眼,你没有注意到,有很多事情,比如你认为你在这里看到了,但你实际上没有看到那里。
Lex Fridman: 是的,都是捏造的。
Jim Keller: 是的,周边视觉非常迷人。所以如果你有一个 AI 渲染器,它被训练成能够准确地理解你是如何看到的,以及能够增强体验真实感的那种东西,它实际上可能非常真实。所以我不知道这方面的限制是什么,但显然,如果我们有一个大脑接口,它比你的眼睛更好地进入你的视觉皮层,这是可能的,它有很多神经元。
Lex Fridman: 是的。
Jim Keller: 也许那会更酷。
Lex Fridman: 真正酷的事情是,它与你提到的无限乐趣有关,我们的大脑似乎非常有限,就像你说的,计算上…
Jim Keller: 非常具有可塑性。
Lex Fridman: 非常具有可塑性,是的,这是一个… 有趣的组合。现在,有趣的悬而未决的问题是神经可塑性的极限,这个东西有多灵活?因为我们… 我们还没有真正测试过它。我们知道…
Jim Keller: 有实验,他们在某人的头上放一个压力垫,并有一个视觉传感器对其加压,然后某人慢慢学会了看。
Lex Fridman: 是的,这就像,特别是在年轻的时候,如果你投入很多,它能… 它能完全… 所以你能用计算能力任意扩展它吗?
Jim Keller: 以某种方式直接连接到互联网?
Lex Fridman: 是的。
Jim Keller: 答案可能是肯定的。生物学和伦理的问题是… 这是一团糟,我们人类可能不愿意冒险进入充满不确定性的方向。
Lex Fridman: 所以,90% 的人口不愿意冒险,另外 10% 在没有任何基础设施的帮助下冲向风险,这就是所有有趣的事情发生的地方。在社会中,在过去的几千年里发生了巨大的变化。
Lex Fridman: 这很有趣,我有机会…
梦
Lex Fridman: 这是 Matthew Johnson,来自约翰霍普金斯大学,他在做这项关于迷幻剂的大规模研究,这变得越来越… 我有机会与那个研究迷幻剂的科学家群体互动,但正因为如此,这为我打开了一扇门,通往所有这些… 他们叫什么?“精神航行者”,那些 10% 的人,他们说:“我不在乎,我不知道这背后是否有科学,我要乘坐宇宙飞船,如果我是第一个登上火星的人,我将…” 你知道,迷幻剂之所以有趣,是因为在另一个维度上,就像你说的,这是一种探索人类思维极限的方式,这个东西能做什么?因为当你做梦时,你有点像… 我不确定你的科学,但你把你的现实和你脑海中能够想象出来的图像分离开来,你的大脑会进入奇怪的地方,实体会出现,弗洛伊德类型的创伤可能以某种方式连接在那里,但你开始拥有这些奇怪的、生动的世界。你经常做梦吗?
Jim Keller: 为什么不呢?我做了六个小时的梦,这就像非常有用的时候。
Lex Fridman: 我知道,我没有… 出于某种原因,我只是… 昏睡过去,我有时会有一些焦虑引起的、非常务实的噩梦,但没有什么有趣的。
Jim Keller: 一点都不好玩?
Lex Fridman: 一点都不好玩,我… 不幸的是,我大部分时间都在清醒的世界里玩,这是非常有限的乐趣。
Jim Keller: 它也不是那么有限。
Lex Fridman: 是的,这就是…
Jim Keller: 我们将不得不谈谈,是的。
Lex Fridman: 我需要指导。
Jim Keller: 是的,有一本关于这个的手册,你可能想… 我查一下,我会问埃隆。你在梦里梦到了什么?几年前,我读到过… 关于如何意识到你的梦的书,我在这方面做了一段时间的努力。有一个技巧是,想象你能看到你的手并向外看,我在这方面做得还不错。但大多数情况下,当我在思考问题或解决问题时,我会在睡觉前做好准备,我会把我想要处理或思考的所有事情都拉到我的脑海中,这大大提高了我在睡觉时处理这些事情的几率,然后我还… 基本上要求记住它,我经常能非常详细地记住梦中的内容,或者梦外的内容。
Lex Fridman: 在梦中把它提出来?
Jim Keller: 是的,或者在梦外,在我的梦中把它提出来,然后在醒来时记住它,这更像是一种冥想练习,你说… 为此做好准备。
Lex Fridman: 就像如果你去… 睡觉时还在为一些随机发生的事情咬牙切齿,而你对这些事情并不是真的感兴趣,你就会梦到它。这真的很有趣。
Jim Keller: 但你可以通过准备来引导你的梦。
Lex Fridman: 我要试试这个,这真的很有趣。就像最重要的… 有趣的,不是… “这家伙在电子邮件里说了什么”之类的愚蠢的担忧,而是你真正关心的基本问题,你担心的有趣的事情,或者你正在阅读的东西,或者你进行过的一些伟大的对话,或者你想进行的冒险,那里有很多空间。而且似乎… 我的… 有趣的梦和记忆的比例上升了。
想法
Lex Fridman: 这是… 如果你能解构… 你的一些最好的想法的来源是什么?这其中有一个过程吗?
Jim Keller: 是的,有些人… 散步和思考,有些人喜欢在淋浴时… 最好的想法会击中他们,如果你谈论像牛顿的苹果砸到他头上…
Lex Fridman: 不,我…
Jim Keller: 我很早就发现,我处理事情的速度有点慢,所以在大学里,我有些朋友可以在最后一刻学习,第二天就得了 A,我完全做不到。所以我总是提前完成所有的工作,比如在期末考试前三天,我不会看书,因为我知道,在期末考试前一天出现一个新事实可能会破坏我对已知事物的理解。所以我的目标是总是把它弄进去,并给它时间来吸收。我曾经… 我记得我们在做三维微积分,我会做这些关于三维曲面的神奇的梦,用法线… 计算梯度,这就像… 都出现了,所以这真的很有趣,非常直观。如果我能循环利用这些,那将非常有用。另一个是不要过度过滤你的想法,我喜欢集思广益的过程,可以产生很多想法,我喜欢有很多想法和事物的人。
Lex Fridman: 但是… 然后…
Jim Keller: 是的,让他们坐下来,让它呼吸一会儿,然后把它付诸实践。在某个时候,你真的必须… 它真的有效吗?这是真的吗?但你必须两者都做,这里有创造性的张力,你如何既开放又精确?
Lex Fridman: 你有没有一些想法,它们在你的脑海中停留了很多年,然后才…?
Jim Keller: 当然,这… 有趣的… 方式是产生想法,然后让它们停留,让它们在那里停留一段时间。我想我有一些那样的想法,那太有趣了。
Lex Fridman: 是的。
Jim Keller: 我认为那是… 创造力… 这是为房间里思维缓慢的人准备的,我想有些人,就像你说的,他们…
Lex Fridman: 是的,这真的很有趣,人们的思维方式有如此多的多样性,他们有多快或多慢,他们记得有多好… 我不擅长记住事实,但过程和方法… 在我们的工程学中,我去了宾夕法尼亚州立大学,我们几乎所有的工程考试都是开卷考试,我能记住页码,但不记得公式,但一旦我看到公式,我就能记住整个方法,如果我学过的话。所以这… 很有趣,或者有些人可以… 我看到朋友们翻阅书本试图找到公式,即使知道他们做了同样多的工作,而我只需打开书,我知道它在第 27 页,大约一半… 我可以直观地看到整个东西。你必须了解自己,并弄清楚如何优化地利用它。我有一个朋友,他总是担心他不知道他是如何产生想法的,他有很多想法,但他说它们只是突然出现,就像他在做某件事时,突然有了这个想法,“它从哪里来?” 但你可以对它有更多的意识,就像… 你的大脑是如何工作的,当你从你脑海中的声音或明显的视觉化往下走时,这有点模糊。当你想象某件事时,这是如何发生的?
Lex Fridman: 是的。
Jim Keller: 如果我说,“想象一座火山”,这很容易做到,对吧?当你想象它时,它实际上是什么样子的?我可以想象到我几乎看不到我眼睛里的东西,我看到了我正在想象的东西的颜色。
Lex Fridman: 是的,但有一个…
Jim Keller: 有一个形状,有一个纹理,有一个颜色,但也有概念上的可视化,当你想象火山时,你实际上在想象什么?
Lex Fridman: 就像周边视觉一样,你认为你看到了整个东西。
Jim Keller: 是的,这是个好说法,你有这种… 几乎是你想象的周边视觉,它们就像这些幽灵。但如果你… 如果你努力,你可以获得非常高的细节水平,不知何故,你可以沿着这些想象走,想出一个主意,这很奇怪。但当你在思考解决问题时,你在输入信息,你在运用你所知道的东西,你有点像在挑逗你不理解和不知道的领域,但你几乎可以… 感觉到这个过程正在发生。这就是我… 就像… 我知道有时当我非常努力地做某件事时,我在睡觉时会变得非常热,就像我们有… 毯子… 我醒来时所有的毯子都在地板上,每次都是… 当我醒来时,我想:“哇,那太棒了。”
Lex Fridman: 你能… 你能逆向工程出到底发生了什么吗?
Jim Keller: 哦,有时是生动的梦,有时是这种… 就像你说的,影子思维,你有点… 你有这种感觉,你正在经历这些事情,但它不是很明显。
Lex Fridman: 这不是很神奇吗?大脑会做所有这些小实验。
Jim Keller: 我从来没有… 我一直以为它就像一条河流,你无法… 你只能顺流而下,但你是对的,如果你准备好了…
Lex Fridman: 不,这是…
Jim Keller: 这一切都是可以理解的,冥想真的很有帮助,你必须开始弄清楚…
Lex Fridman: 你需要学习你自己的思维语言。
Jim Keller: 它有多个层次,但… 又是抽象,对吧?它在某种程度上是可以理解的、可观察的和可感觉的,或者不管正确的词是什么。不,这是… 你不是… 你不是顺流而下,你就是那条河流。
Lex Fridman: 我必须问你,硬件工程师,现在正在研究神经网络,什么是意识?那到底是什么东西?它只是我们特定的计算设备的一些奇怪的怪癖,还是我们需要破解的一些基本的东西,如果我们想要构建… 好的计算机?你有没有想过意识,为什么感觉… 成为…?
Jim Keller: 我知道,这… 这真的很奇怪,所以,是的,我的意思是,关于它的一切都很奇怪。首先,它…
Lex Fridman: 是的。
Jim Keller: 比现实晚了半秒,这是对发生的事情的事后叙述,当你意识到它的时候,你已经做了。你的意识通常是一个单线程的东西,但我们知道你的大脑是 100 亿个神经元在运行一些疯狂的并行的事情,那里有一个非常大的排序过程。它似乎也具有很强的反射性,因为你在脑海中创造了一个空间。我们并没有真正看到任何东西,光子击中你的眼睛,它被转换成信号,它通过多个层次的神经元。我很奇怪,那个看起来有光泽,那个看起来没有光泽,你的视觉分辨率如此之高,你必须经历所有这些处理,而在大多数情况下,它看起来一点也不像视觉。你的脑海里没有剧院,所以我们… 我们脑海中有一个世界,我们实际上只是被隔离在我们的感官后面,但我们可以观察它,推测它。
Lex Fridman: 是的。
Jim Keller: 推测其他的可能性,解决问题,“如果…”,有很多事情在发生,而且这个过程滞后于现实。它是单线程的,即使底层的东西是大规模并行的,所以这非常奇怪。所以想象一下,你正在构建一台 AI 计算机,如果你想复制人类,你将拥有巨大的神经网络阵列,显然只有六七层深,这很奇怪,它们只能记住七个数字,但我认为我们可以大大升级它。然后在其中的某个地方,你会训练网络来创造你生活的世界。
Lex Fridman: 所以…
Jim Keller: 对它自己讲述关于它所感知的世界的故事。
Lex Fridman: 好吧,创造这个… 创造世界,讲述…
Jim Keller: 在世界上的故事,然后有多维的… 像旁白一样,我们有一个情感结构,我们有一个生物结构,这似乎也是分层的,就像如果你饿了,它会主导你的思维,如果你生气了,它会主导你的思维。我们不知道这对意识是否重要,但它肯定会… 扰乱… 进入意识。有很多结构,我们喜欢沉湎于过去,我们喜欢思考未来,我们喜欢想象,我们喜欢幻想。对它的有点循环的观察是,我们称之为意识的东西。现在,如果你创造了一个计算机系统,它做了所有的事情,创造了世界观,创造了未来,其他的历史,沉湎于过去的事件,准确或半准确地… 它的意识是否… 自然而然地出现?
Lex Fridman: 那东西对你来说会看起来和感觉起来像是有意识的吗?你认为… 你认为看起来有意识的东西就是有意识的吗?就像… 这又是一个… 像工程学一样的问题,我想,因为…
Lex Fridman: 如果我们想要设计意识,设计一些看起来有意识的东西可以吗?还是说这两者之间有区别?
Jim Keller: 我们拥有所有的意识,因为这是一种非常有效的方式来管理我们的事务。
Lex Fridman: 是的,这是正确的。
Jim Keller: 社会发展…
Lex Fridman: 是的。
Jim Keller: 它给了我们计划系统,我们有很多东西… 当我们交谈时,我们之所以能交谈得很快,是因为我们在非常高的细节水平上相互建模,而意识是必需的。所有这些组件一起表现为意识,所以如果我们制造出我们想要与之互动的智能生物,我们想知道他们在想什么,期待见到他们,当他们与他们互动时,他们很有趣、令人惊讶、迷人,他们可能会像我们一样感觉有意识,我们会认为他们是有意识的,我不知道为什么不。
Lex Fridman: 但你永远不知道。关于这个,还有一个有趣的问题,因为…
外星人
Lex Fridman: 从计算的角度来看,我们正在尝试创造一些类似人类或超越人类的东西。让我问你关于外星人的问题,你认为那里有智能的外星文明吗?你认为他们的技术、他们的计算、他们的 AI 机器人、他们的芯片,与我们的本质相同吗?
Jim Keller: 我不知道,我的意思是,如果那里有很多外星人,他们一直非常安静。有人推测为什么… 似乎有足够多的行星,有很多… 这个星球上有智能生命,看起来非常不同,海豚似乎可以理解,章鱼似乎完全无法理解,如果它们的寿命超过一年,也许它们会统治这个星球,它们看起来非常聪明,它们的神经结构与我们的完全不同。现在,谁知道它们是如何感知事物的?我的意思是,这就是问题所在,对于我们这些可能无法感知其他类型智能的智能生物来说,如果它们变得与我们足够不同。所以,是的,我们生活在当前的受限世界中,它是三维几何,几何定义了一定数量的物理,还有… 时间是如何运作的,似乎有很多东西,似乎有很多输入参数,对于另一个有意识的生物来说是相同的。如果是生物的话,生物似乎处于一个相对狭窄的温度范围内,因为… 有机… 不稳定,太冷或太热。所以,如果你指定了… 输入到其中的一系列东西。但一旦我们制造出真正聪明的生物,他们就会想出如何同时思考十亿个数字,以及如何在… 有一本有趣的科幻小说,所有的社会都已经上传到了这个矩阵中,在某个时候,矩阵中的一些人想知道:“我想知道那里是否有智能生命?” 所以他们必须做一大堆工作来弄清楚如何制造一个物理的东西,因为他们的矩阵是自给自足的,他们制造了一艘小型宇宙飞船,他们前往另一个星球,当他们到达那里时,有生命在四处奔跑,但没有智能生命。然后他们发现,在整个星球上都有这些巨大的有机矩阵,智能生物已经把自己上传到了那个矩阵中,所以每个地方的智能生命,一旦它变得足够聪明,就会把自己提升到比三维几何更有趣的东西中。
Lex Fridman: 是的,逃离了…
Jim Keller: 不是逃离,而是更好。
Lex Fridman: 是的,我们认为是智能生物的本质… 我倾向于喜欢… 关于有机体的思想实验,就像人类不是有机体,我喜欢 Richard Dawkins 和模因的概念,想法本身就是有机体,它们只是利用我们的思想来进化。所以我们就像… 盛放想法的容器,让它们繁殖、增殖等等,也许那些就是外星人。
Jim Keller: 是的,所以… Jordan Peterson 有一句话,他说:“你认为你拥有想法,但想法拥有你。”
Lex Fridman: 是的,好话。
Jim Keller: 然后我们知道集体思维的现象,有很多东西限制了我们,但我认为你可以审视所有这些,而不是完全被这些想法所拥有,完全陷入集体思维中。你作为人类的一部分责任是摆脱这种现象,这不是… 这是… 又是创造性张力的事情之一,你被它构建,但你仍然可以观察它,你可以思考它,你可以在某种程度上做出选择,你受它的约束程度,这是有用的。但是,与此同时,通过这样做,你所在的群体和社会可能会变得集体上更有趣。所以外部观察者会想:“哇,所有这些有着独立想法的 Lex 们创造了一些更有趣的东西。” 所以我… 我不知道,这些是观察情况的视角,但我认为它们不是约束,对吧?
乔丹·彼得森
Lex Fridman: 作为历史上的一个小插曲,你似乎和 Jordan Peterson 有亲戚关系,你提到他现在正在经历一些艰难的时刻,你能对人类旅程的艰难、起起落落发表一些评论吗?
Jim Keller: 我成了苯二氮卓类药物戒断方面的专家,这种药物与 GABA 回路相互作用,以减轻焦虑并做其他 100 件事情,实际上没有已知的清单列出它们的所有作用,因为它们与你身体的许多部位相互作用。一旦你服用了它们,你就会习惯它们,你就会产生依赖性,这不是你试图获得快感的药物依赖性,这是一种代谢依赖性。如果你停止服用它们,会有一种叫做“点火”的奇怪现象,如果你停止服用它们,然后… 你会出现可怕的戒断症状,如果你重新服用相同剂量的药物,你将不会稳定。不幸的是,这种情况发生在他身上,因为它深深地融入了身体的各种系统中,它实际上改变了你大脑中神经递质受体的数量和大小。有一个叫做“阿什顿方案”的过程,你可以在两年内慢慢减少剂量,人们经历这个过程会经历难以置信的地狱,而 Jordan 经历的似乎更糟糕,因为在医生的建议下,“停止服用这些药物,服用这个”,这是一场灾难,他得到了一些… 这非常艰难。他似乎好多了,从智力上看,你可以看到他的大脑正在恢复,我花了很多时间和他在一起,我从未见过任何人遭受如此多的痛苦。
Lex Fridman: 他的大脑也是一个强大的… 所以我想知道,一个能够深入思考世界的大脑,是否会因为这些戒断反应而遭受更多的痛苦?
Jim Keller: 我不知道,我看了人们经历戒断反应的视频,他们似乎都遭受了难以置信的痛苦,我向所有人表示同情。关于这个有一些有趣的统计数据,一些医生说,据他们所知,标准的建议是不要服用超过一个月,然后在几周内逐渐减少剂量,许多医生无休止地开这种药,这是违反规定的,但这很常见。然后,大约 75% 的人在逐渐减少剂量时… 一半的人有困难,但 75% 的人可以成功戒断,20% 的人有严重的困难,5% 的人有危及生命的困难。如果你是其中之一,那就非常糟糕了。人们关于这个的故事令人心碎和艰难。
Lex Fridman: 你认为部分责任在于医生,他们根本不知道自己在做什么?
Jim Keller: 哦,不,这很难说,这是那些经常开的药之一。一位医生说,如果你因为某种原因被开了这种药,然后你很难戒断,那么这个方案基本上会说你要么是疯了,要么是有依赖性,然后你会被推到不同的治疗方案中,你是一个吸毒者或精神病患者。所以一位医生说:“你知道,我开了 10 年的药,以为我在帮助我的病人,但我意识到我实际上是在伤害他们。” 人们对这一点的认识正在慢慢提高,随意地给人们开这种药的事实很可怕,这非常可怕。有些人在服用这种药物时是稳定的,但他们终生都在服用,一旦… 这是另一种药物… 但长期服用苯二氮卓类药物会对你的性格产生真正的影响,人们谈论“苯二氮卓泡沫”,你会与现实和你的朋友有点脱节,这真的很可怕。
Lex Fridman: 思想是可怕的,我们谈论的是无限的乐趣的可能性,但就像… 这也是无限的痛苦的可能性,这是… 扩展人类思维的危险之一,就像… 我想知道,一个智能计算机可以拥有的所有可能的人类体验中,是乐趣多还是痛苦多?所以如果你… 如果你强行扩展可能性的集合,你是否会遇到一些麻烦,比如折磨和痛苦等等?也许我们的大脑只是在保护我们免受更多可能的痛苦和折磨,也许痛苦的空间比我们想象的要大得多。
Jim Keller: 世界处于平衡之中,所有关于宗教之类的文献都是… 善与恶之间的斗争非常微妙地平衡,原因很复杂,但这是一个漫长的哲学对话。
病毒
Lex Fridman: 说到复杂的平衡,我想知道,因为我们正生活在人类历史上最重要的时刻之一,这个特殊的病毒,它似乎至少有可能杀死大部分人口,在最坏的情况下。它们非常迷人,因为这个世界上有如此多的病毒,有如此多的… 我的意思是,病毒基本上遍布世界各地,它们已经存在了很长时间,它们无处不在,它们似乎非常强大,它们只是以一种分布式的方式存在,但与此同时,它们没有智力,它们甚至没有生命。你对这个病毒有什么高层次的想法吗?就你而言,你是着迷、害怕,还是介于两者之间?
Jim Keller: 我相信框架,对吧?其中之一是进化,我们是进化的生物。关于进化的一件事是,它是高度竞争的,它不是出于邪恶的意义上的竞争,而是因为存在着无休止的变异,而那些变异效果更好的会胜出。随着时间的推移,这种竞争有很多层次,多细胞生命的出现部分是因为不同生命形式之间的竞争。我们知道,有性生殖的部分原因是为了打乱我们的基因,这样我们才能抵抗细菌和病毒的入侵
Jim Keller: 这是无止境的。我读到一些有趣的数据,海洋中病毒和细菌的密度非常高,每天有三分之一的细菌死亡,因为病毒入侵了它们,三分之一的细菌!我不知道这个数字是否真实,但就像… 竞争的数量和正在发生的事情令人震惊。有一种理论认为,随着我们年龄的增长,我们会慢慢积累细菌和病毒,而随着我们的免疫系统下降,这就是慢慢杀死我们的原因。从人类的角度来看,当我们坐下来能够进行轻松的对话时,这感觉非常平和,而外面却正在发生战争。
Lex Fridman: 就在此刻,你身上有多少细菌?
Jim Keller: 你知道,其中许多对你来说是寄生的,有些是有帮助的,有些正在改变你的行为,有些… 这真的很疯狂。但你知道,这次特殊的表现很不寻常,它在人口统计学上的影响,它引发的政治反应,它引发的医疗保健反应,它引发的技术,这有点疯狂。
Lex Fridman: 是的,推特上的交流,各个层面,所有这些…
Jim Keller: 是的,在每一个层面上。但是通常导致生命灭绝的… 大灭绝是由陨石和火山造成的。
Lex Fridman: 这是你担心的,而不是人为制造的炸弹?
Jim Keller: 太阳耀斑是另一个,你知道,偶尔会有太阳耀斑袭击地球。
Lex Fridman: 所以这是自然…
Jim Keller: 哦,是的,是的,这一切都很疯狂。
WallStreetBets 和 Robinhood
Lex Fridman: 在另一个历史性的时刻,这也许在你的… 框架之外,但也许在你的框架之内,你思考的是… 几周前发生的事情是… 我不知道你是否在关注,这是 GameStop 和 WallStreetBets。这真的很迷人,这和我们今天的谈话有点像一个主题,因为… 网络,这很酷,有很多人以一种分布式的方式,几乎有一种… 乐趣,能够战胜强大的精英,精英对冲基金,中心化的力量,并战胜他们。你有什么想法吗?我的意思是… 传奇。
Jim Keller: 我对金融了解不多,但就像埃隆… Robinhood 的那个家伙,当他们交谈时…
Lex Fridman: 是的,你怎么看?
Jim Keller: Robinhood 的那个家伙不知道金融系统是如何运作的,这很明显。他把那些结算交易的人当作一个黑匣子,突然有人打电话给他,说:“嘿,黑匣子给你打电话,你的交易量意味着你需要拿出 30 亿美元。” 他说:“我没有 30 亿美元,我甚至没有从这些交易中赚到钱,为什么我要欠 30 亿美元?” “因为你在担保这些交易。” 所以有一套抽象的东西… 我不认为… 就像… 现在他明白了。这在芯片设计中也会发生,你从台积电、三星或英特尔购买晶圆,他们说它是这样工作的,你根据这个进行设计,然后芯片回来后不能工作,然后突然你开始打开黑匣子,比如,“晶体管真的像他们说的那样工作吗?真正的问题是什么?” 所以有一整套东西…
Jim Keller: 创造了这个机会,有人发现了它。现在人们总能发现这类机会,有闪电崩盘,有… 总是会有轧空,这是相当规律的。我认识的每一个 CEO 都讨厌空头,因为他们在试图操纵他们的股票,以一种他们赚钱的方式,剥夺公司和投资者的价值。所以… 有些股票被如此严重地做空,这很搞笑,以前没有发生过这种情况,我不知道为什么。我实际上也不知道为什么一些严肃的对冲基金没有对其他对冲基金这样做。
Lex Fridman: 有些对冲基金实际上从中赚了很多钱。
Jim Keller: 是的,所以我的猜测是,我们只知道真正发生的事情的 5%,而且很多参与者不知道发生了什么,那些可能赚了最多钱的人并不是他们谈论的那些人。
Lex Fridman: 是的,你认为…
Jim Keller: 这其中有什么…
Lex Fridman: 我的意思是,这是… 这是很酷的… 埃隆… 你是同一种类型的… 健谈者,就像… 第一性原理问题,“到底发生了什么?” 非常基本的问题,比如,“是否发生了什么可疑的事情?参与的各方是谁?” 这些是每个人都想知道的基本问题。
Jim Keller: 是的,所以… 我们处在一个竞争非常激烈的世界中,但是像买卖股票这样的交易是一种信任事件,我相信公司正确地代表了自己,我买股票是因为我认为它会上涨,我相信监管是可靠的。现在,在这其中,有很多地方… 人们过度信任,这… 暴露了系统中的一些薄弱环节。我不知道它是否会得到纠正,我不知道… 我不知道我们是否接近真实的故事。
Lex Fridman: 是的。
Jim Keller: 我的怀疑是我们不知道,听那个家伙说话,他有点… 大吃一惊,“然后他们这样做了,然后他们那样做了。” 这就像… 我想你应该比那更了解你的业务。但同样,有很多企业,当这一层非常稳定时,你就不再关注它了,你会关注那些困扰你的或新的东西,你不会关注那些似乎一直有效的东西,你只是… 你知道,“加利福尼亚的天空每天都是蓝色的。” 而有一次… 持续下雨,就像,“我们该怎么办?去把庭院家具收进来,你知道,它被淋湿了。” 我们不知道… 它被淋湿了,是的,它… 已经蓝了 100 天了,现在…
Lex Fridman: 所以,Vlad 的问题的一部分,这位 Robinhood 的首席执行官,是… 这是我们一直在谈论的扩展问题吗?
Jim Keller: 有很多意想不到的事情会随着扩展而发生,你必须… 我认为扩展迫使你回到基本原理。
Lex Fridman: 这很有趣,因为当你买卖股票时,扩展是… 股票只在一定的范围内波动,如果你买了一只股票,你只能损失那么多钱。在卖空市场上,你可能损失的钱比你可能获得的收益要多得多,它有一个奇怪的成本… 成本函数,或者不管正确的说法是什么。所以他在一个市场上交易,而他实际上没有为下行风险提供足够的资本,如果它超出了某个范围。现在,是否发生了什么可疑的事情,我不知道,但在某个时刻,对他和他的客户来说,财务风险远远超出了他的财务能力,他对系统如何运作的理解显然很薄弱,或者他没有代表自己… 我… 我不认识这个人,当我听他…
Lex Fridman: 是的。
Jim Keller: 可能是… 令人惊讶的问题是,“然后这些人打电话来,你知道…” 听起来他把一些东西当作黑匣子,也许他不应该这样,但也许他的整个… 专家在别的地方,这正在发生,我不知道。
Lex Fridman: 是的,我的意思是,这是… 这是一个好的领导者的品质之一,在压力下,你必须表现出色,这意味着要清晰地思考,清晰地说话。
Jim Keller: 并且要快速学习和理解问题。
Lex Fridman: 像这样… 在这个基本层面上,“到底发生了什么?”
Jim Keller: 我的猜测是,在某种程度上,这是业余爱好者与… 专家/内部人士/拥有特殊信息的人之间的交易。
Lex Fridman: 局外人…
Jim Keller: 内部人士,是的。内部人士… 我的猜测是,下次发生这种情况时,他们会从中赚钱。内部人士总是赢。
Lex Fridman: 好吧,他们有更多的工具和更多的动力。
Jim Keller: 我的意思是,这种情况总是发生,局外人这样做是为了好玩,内部人士 24/7 都在做这件事。
Lex Fridman: 但局外人也有数量优势,这是有趣的地方。
Jim Keller: 内部人士也有数量优势,不同类型的…
Lex Fridman: 不同类型的数字。
Jim Keller: 但这可能是一个新时代,因为我不知道,至少我没想到,一群 Reddit 用户可以… 你知道,有数百万人可以聚集在一起…
Jim Keller: 下一次就不会令人惊讶了,但你不认为… 人群… 人们正在计划下一次攻击…
Lex Fridman: 我们会看到。
Jim Keller: 但它必须是一个惊喜,不能是相同的游戏,它必须是… 最终…
Lex Fridman: 可以… 有非常多的游戏可以玩,他们可以灵活应对,我不知道,我不是专家。
Jim Keller: 这是一个好问题,游戏的空间,它的限制有多大。
Lex Fridman: 是的。
Jim Keller: 这个系统非常复杂,它可能是相对不受限制的。而且就像… 在过去的几次金融危机中,你知道,引发危机的是一系列衍生事件,Nassim Taleb 的… 他们的… 他们试图在短期内降低波动性,但会产生尾部事件,系统总是朝着这个方向发展,然后它们总是崩溃。就像… 高斯曲线是… 星星… 低… 爬升… 高原… 崩溃,从长远来看,这是 100% 有效的。
年轻人的建议
Lex Fridman: 让我问你一些建议,戴上你深刻的帽子。有很多年轻人会收听这个节目,没有任何好的理由,本科生,也许是高中生,也许只是… 心态年轻的人,正在寻找人生的下一步,你会给今天的年轻人什么建议?关于生活,也许是职业,但也是一般的生活。
Jim Keller: 在某些方面做得出色。
Lex Fridman: 好吧…
Jim Keller: 了解你自己,在你真正感兴趣的事情上做得出色,你必须热爱你正在做的事情才能做得出色,你真的必须找到它,不要把所有的时间都浪费在做那些无聊、乏味或麻木的事情上。不要让…
Lex Fridman: 不要让老人欺负你?
Jim Keller: 人们被说服去做各种各样的事情,积累大量的学生… 学生债务,有很多糟糕的事情正在发生。它会耗尽你的时间,耗尽… Eric Weinstein,你知道,他的论点是,老一辈人会让… 他们正在困住所有的年轻人,我认为这是有道理的。
Lex Fridman: 当然。
Jim Keller: 仅仅因为你老了,并不意味着你停止思考,我知道很多非常有创意的… 老年人,我是一个老年人。但你必须意识到这一点,你可以陷入困境,然后这样做。当我听到年轻人发表的观点听起来像是来自福克斯新闻或 CNN 时,我认为他们已经被集体思维和模因所俘获,而不是独立思考。所以如果你发现自己在重复别人说的话,你不会有一个好的生活,世界不是这样运作的,它可能看起来很安全,但它会让你处于… 无聊或不快乐的危险之中。
人类状况
Lex Fridman: 你花了多长时间才找到你喜欢的事情?
Jim Keller: 我不知道,我从小就是一个有趣的人,所以我经历过几次… 人生中的几次抑郁,出于某种原因,或者… 没有任何意义的原因。有些事情很难,就像你在高中时经历心理转变,我有一年非常抑郁,我想我在 26 岁时经历了第一次中年危机,我有点想,“这就是全部了吗?” 我在做一份我喜欢的工作,但我在工作,我所有的时间都被占用了,如何摆脱这种抑郁?“这就是全部了吗?”的答案是什么?
Jim Keller: 我的一个朋友,我问他,因为他工作非常努力,我说:“你的工作与生活的平衡如何?有工作、朋友、家庭、个人时间,你如何平衡这些?” 他说:“工作占 80%,家庭占 20%,我试着找点时间睡觉。” 没有个人时间,没有… 激情… 因为年轻人通常对工作充满激情,我当然是那样的。但你需要… 你需要在你的生活中为不同的事情留出一些空间,这会让你… 这让你能够抵抗… 深度… 深度抑郁之类的东西。
Lex Fridman: 是的,好吧…
Jim Keller: 你也必须了解自己,冥想有帮助,一些身体上剧烈的事情有帮助,就像… 你的思维会进入奇怪的地方,之类的,为什么会发生?你为什么要做你所做的事情?触发因素,就像导致你的思维进入不同地方的事情,或者事件,比如你的成长经历,无论是好是坏,无论你的父母是不是伟大的人,你… 你带着各种各样的情感负担进入成年。你可以看到,有些人非常僵硬和克制,他们认为世界从根本上是消极的,也许你有未开发的领域,或者你害怕某些事情。
Lex Fridman: 我肯定害怕很多事情。
Jim Keller: 那你就必须去面对它们,就像… 最糟糕的事情会发生什么?你会死,对吧?这是不可避免的,你不妨克服它,100% 的死亡率。人们担心病毒,但是… 人类的情况非常致命。
Lex Fridman: 关于尴尬,有一些…
Jim Keller: 我…
恐惧是一个牢笼
Lex Fridman: 我一生中参加过很多比赛,我想,如果我太内省的话,我最害怕的事情是被羞辱,我认为…
Jim Keller: 没有人关心这个,你是这个星球上唯一一个… 关心你被羞辱的人。
Lex Fridman: 这就像…
Jim Keller: 这真的是一个无用的想法。
Lex Fridman: 是的,这就像… 你都是…
Jim Keller: 在一屋子人面前发生了什么事,他们走出去,他们甚至一秒钟都没有再想过这件事,或者也许有人给别人讲了一个有趣的故事,然后它就…
Lex Fridman: 是的,是的。
Jim Keller: 整个… 是的,是的,现在我知道了。我的意思是,我曾经因为… 感到非常尴尬,除了我自己,没有人关心。
Lex Fridman: 这是一个有趣的事情,所以最糟糕的事情最终只是…
Jim Keller: 是的,但这就是牢笼,然后你必须摆脱它。一旦你发现这样的事情,你必须下定决心打破它,否则你就会… 你知道,慢慢积累那种垃圾,然后你作为一个… 一团糟… 死去。
Lex Fridman: 所以目标… 我想…
Jim Keller: 所以这是一个有… 的牢笼。
Lex Fridman: 我想目标是在尽可能大的牢笼中死去。
Jim Keller: 好吧,理想情况下,你没有牢笼。
Lex Fridman: 人们确实…
Jim Keller: 我有一些…
Lex Fridman: 这很好,你…
Jim Keller: 找到了几个。
Lex Fridman: 有几个…
Jim Keller: 有几个在那里,我不知道,当然… 或者他们… 这是一个很棒的推销说辞,“开悟的人”写书,做各种各样的事情,这是卖书的好方法,我会承认这一点。
Lex Fridman: 你从来没有遇到过一个人,你只是觉得…
Jim Keller: 他们只是… 杀了我,就像… 精神上的清晰,幽默,没有…
Lex Fridman: 百分之百,但我只是觉得他们生活在一个更大的牢笼里,他们有自己的…
Jim Keller: 他们不认为有牢笼。
Lex Fridman: 他们仍然… 你暗自怀疑总有一个…
Jim Keller: 没有… 没有什么在… 单元之外,没有什么在牢笼之外 [笑声]。
Lex Fridman: 你… 你在很多公司工作过,你领导过很多了不起的团队,我… 我不确定你是否曾经… 处于初创公司的早期阶段,你对… 有什么建议吗?对于那些想要… 创办一家初创公司或建立一家公司的人,比如建立一个强大的工程师团队,他们充满激情,只想… 解决一个大问题,有没有…
Lex Fridman: 更具体地说,关于这一点…
Jim Keller: 如果你要领导和建立一个团队,你必须非常擅长… 你最好非常感兴趣人们是如何工作和思考的。
Lex Fridman: 人还是…
Jim Keller: 人是解决问题的… 有两件事,对吧?一个是人如何工作,另一个是… 实际上… 有相当多成功的初创公司,很明显,创始人对人一无所知,这个想法非常强大,以至于推动了他们,但我怀疑在早期的某个时候,他们雇佣了一些了解人的人,因为人真的需要很多的照顾和喂养才能合作、一起工作、感到投入和努力工作。你知道,初创公司都是关于超越其他人的,你很灵活,因为你没有任何遗产,你没有… 一群对生活感到沮丧的人,你知道,只是出现… 所以初创公司有很多优势…
Lex Fridman: 方式… 你喜欢… 乔布斯谈到了这个想法… A 级员工和 B 级员工,我不知道你是否… 知道这个说法?
Jim Keller: 不。被 B 级员工领导接管的组织通常表现不佳,或者说是 C 级员工。在大组织中,有很多工作要做,有很多人乐于做… 领导层或有远见的人认为的卑微的工作,你需要为他们提供一个位置,但你需要一个既重视和奖励他们,又不让他们接管领导权的组织。
Lex Fridman: 明白了。
Jim Keller: 所以你需要一个能够抵抗这种情况的组织。
Lex Fridman: 但在早期,乔布斯的观点是,一个房间里的 A 级员工中有一个 B 级员工,会对整个团队造成破坏性的影响。
Jim Keller: 我见过这种情况发生,我不知道这是否… 总是正确的。你知道,你会遇到一些人,他们显然是 B 级员工,但他们认为自己是 A 级员工,所以他们在桌子上声音很大,他们提出很多要求。但也有其他人,他们说:“我知道我是谁,我只想和你一起工作,和酷的人一起工作,告诉我做什么,我就会去做。” 你必须… 再次强调,这是人际交往能力,这是什么样的人?你知道,我遇到过一些我喜欢一起工作的非常棒的人,他们不是最有想法的人,也不是最高效的人,但他们出现,他们完成工作,他们创造了人们重视的联系和社区,这非常多样化,所以我不认为这有一个固定的模式。
爱
Lex Fridman: 我必须问你关于爱的问题,我听说你现在对这个感兴趣,对这个“爱”的东西感兴趣,是的,这是… 你认为这是你抑郁症的解决方案吗?
Jim Keller: 不,我只是想… 就像你说的,开悟的人偶尔会… 试图卖书,我正在写一本关于爱的书。
Lex Fridman: 你在写一本关于…?
Jim Keller: 不,我不是,我不是。我的一个朋友,他要… 有人说:“你真的应该写一本关于你的… 管理哲学的书。” 他说:“那将是一本很短的书。” [笑声]
Lex Fridman: 好吧,那本书写得很好。爱、家庭、友谊,所有这些… 人类的事情,在成功的人生中扮演什么角色?你在… 领域非常成功,领导团队,构建… 在这个世界上创造了一些惊人的东西,爱… 爱有没有妨碍你?爱有帮助吗?家庭有没有妨碍你?家庭有帮助吗?友谊…
Jim Keller: 你想要工程师的答案吗?
Lex Fridman: 请。
Jim Keller: 首先,爱是有功能的。
Lex Fridman: 它在哪些方面有功能?
Jim Keller: 我们习惯于环境,实际上 Jordan 告诉我,Jordan Peterson 告诉我这句话,你经历人生,你只是习惯了一切,除了你爱的事物,它们保持新鲜。这对… 非常有用,比如… 其他人的孩子、狗和树,你不会太注意,但你自己的孩子,你会非常密切地关注他们,如果他们稍微偏离了一点,因为你爱他们,如果你聪明的话,如果你想成为一个成功的父母,你会立刻注意到,你不会习惯于你爱的事物。如果你想在工作中取得成功,如果你不爱它,你就不会投入时间,其他人… 其他热爱它的人… 因为它是新的、有趣的,这让你进入下一个层次。所以它是… 它只是一个产生新奇和惊喜的功能,你知道,诸如此类的事情。
Lex Fridman: 这真的很有趣。
Jim Keller: 人们已经找到了很多… 这方面的框架,你知道,就像… 人类似乎会结成伴侣,经历… 兴趣,比如某人突然… 你对某人很感兴趣,然后你迷恋他们,然后你爱上他们,然后你… 不同的人对父母的爱或成熟的爱有不同的想法,你会经历一个循环,这让我们走到一起,这对创建家庭和社区非常有用,让你支持某人,尽管… 你不爱他们,而且…
Lex Fridman: 是的。
Jim Keller: 它可以非常丰富。现在,在工作与生活的平衡方案中,如果你只做工作,你认为你可能正在优化你的工作潜力,但如果你不爱你的工作,或者你没有家人、朋友和你在乎的事情,你的大脑就不平衡。每个人都知道这种经历,你工作了一整周,你回家休息了两天,然后你回来,你从你离开的地方继续工作的几率为零,你的大脑重构了它。
Lex Fridman: 是的。
Jim Keller: 陷入爱河很棒,它改变了房间里灯光的颜色,它创造了一种不同的宽敞感,它帮助你思考,它让你变得强大。Bukowski 有一句话,他说:“爱就像一层雾,在清晨的第一缕曙光中消散。” 这很令人沮丧。
Lex Fridman: 我认为恰恰相反。
Jim Keller: 它持续… 好吧,你喜欢… 就像你说的,这是一个功能,它是一个… 成为… 实际上使你的世界充满活力的光,创造了兴趣、力量和… 去做好某件事。这就像… 这听起来像是… 有身体上的爱,情感上的爱,智力上的爱,精神上的爱。
Lex Fridman: 是的,难道它们不是…
Jim Keller: 它们都是一样的吗?
Lex Fridman: 某种程度上…
Jim Keller: 不,你应该区分它们,也许这就是你的问题所在,在你的书中,你应该… 你应该稍微改进一下。
Lex Fridman: 不同的章节,是的。
Jim Keller: 有不同的章节。
Lex Fridman: 这些是什么?这些是…
Jim Keller: 它们不是… 这些只是同一事物的不同层次。
Lex Fridman: 技术栈?
Jim Keller: 不,身体上的… 人们… 有些人沉迷于身体上的爱,他们对情感或智力上的爱一无所知,我不知道它们是否相同。
Lex Fridman: 所以…
Jim Keller: 我认为它们是不同的。
Lex Fridman: 这是真的,它们可能是不同的。
Jim Keller: 这… 我想,最终的目标是让它们相同。
Lex Fridman: 好吧,如果你想…
Jim Keller: 如果你想让某件事变得更大更有趣,你应该找到它的所有组成部分,并区分它们,而不是把它们混为一谈,人们总是这样做。
Lex Fridman: 是的,而且…
Jim Keller: 模块化,把你的抽象层弄好,然后你就可以… 你有呼吸的空间。
Lex Fridman: 好吧,也许你可以为我关于爱的书写前言。
Jim Keller: 是的,或者后记,在你真正尝试之后,我觉得 Lex 在这本书中取得了很大的进步,但是…
Lex Fridman: 哈哈,好吧,你的生活中有你爱的事物,是的。
Jim Keller: 是的,而且它们是… 你是对的,它们是模块化的,你可以对同一个人或同一件事有多种…
Lex Fridman: 是的。
Jim Keller: 是的,但是… 取决于一天中的某个时刻。
Lex Fridman: 是的,就像…
Jim Keller: Bukowski 描述的那一刻,你从恋爱变成拥有另一种爱。
Lex Fridman: 是的,对。
Jim Keller: 这就是转变,但当它发生时,如果你读了用户手册并且你相信它,你会说:“哦,这发生了,这并不意味着它不是爱,这是一种不同类型的爱。” 但也许… 随着年龄的增长,这其中有一些更好的东西,如果你所做的只是后悔你过去的样子,那就太可悲了。
Lex Fridman: 是的。
Jim Keller: 你应该学到了很多东西,因为… 你未来可以成为的人实际上比… 更有趣,也可能比… 爱上… 下一个人的疯狂孩子更有趣。当它发生时,这非常有趣,但那是… 5% 的可能性。
Lex Fridman: 是的,没错。
Jim Keller: 在持久的事物中还有很多乐趣可以享受。
Lex Fridman: 是的,或者…
Jim Keller: 意义,你知道,如果那是…
Lex Fridman: 我…
Jim Keller: 这是一种乐趣,这是一种更深层次的乐趣,而且令人惊讶,你知道,就像… 我喜欢惊喜,你永远不知道会发生什么。
Lex Fridman: 是的,但你必须仔细观察,你必须努力,你必须思考它,而且…
Jim Keller: 是的,你必须看到惊喜…
Lex Fridman: 当它们发生时。
Jim Keller: 是的,你必须从中寻找…
遗憾
Lex Fridman: 从… 的角度来看,你提到了遗憾。你对自己的轨迹有遗憾吗?
Jim Keller: 哦,当然,是的,有些很痛苦,但你想听听痛苦的事情吗?
Lex Fridman: 我想说,在与人相处方面…
Jim Keller: 当人们说我不喜欢的话时,特别是如果它有点邪恶,我把它当成针对我个人的,我也觉得这是关于他们个人的,但很多时候,就像… 人类… 大多数人都是一团糟,然后他们会做出一些行为,然后他们会做一些事情。我很久以前听一位心理学家说过,你倾向于认为某人对你做了某事,但实际上他们在你面前做他们正在做的事情,这与你没有太大关系。
Lex Fridman: 是的,对。
Jim Keller: 随着我对… 越来越感兴趣,当我与人一起工作时,我会思考他们,可能会分析他们,并稍微了解他们,然后当他们做一些事情时,我就不会那么惊讶了,我… 你知道,如果是坏事,我就不会那么受伤了,我的反应也会少得多,就像我… 我有点预料到每个人都有自己的…
Lex Fridman: 是的,而且…
Jim Keller: 这与你无关,这与我没有太大关系,就像… 你知道,你做了一些事情,你认为你很尴尬,但没人在乎。有人真的生你的气,这与你有关的几率…
Lex Fridman: 不,他们在生气…
Jim Keller: 他们这样做是因为他们学到的一些模式,你知道,如果你足够关心,也许你可以帮助他们,或者你可以看到它即将到来并避开它。就像… 我希望我在这方面做得更好,我有点… 脾气暴躁,你说过,对于乔布斯来说,这是一个特点,而不是一个缺陷。
Jim Keller: 他在利用它作为对抗秩序的力量,秩序会扼杀他的工作。
Lex Fridman: 好吧,你也在做同样的事情。
Jim Keller: 也许吧,我不认为我的… 我的视野不够大,更多的是我生气了,然后做了些什么。
Lex Fridman: 我确信那是…
Jim Keller: 是的,是的,你在告诉我,我不知道它是否… 它没有产生令人惊叹的效果,创造出一家价值万亿美元的公司,更像是… 我生气了,然后离开了,或者树敌了,他不应该… 这很难,我没有真正理解政治,直到我在苹果工作,在那里,你知道,乔布斯是一位政治大师,他的员工也必须如此,否则他们就无法在他手下生存。这绝对是文化的一部分。然后我在一些公司工作过,他们说这很政治化,但与苹果相比,这都是… 闹着玩的。并不是说苹果的人是坏人,只是他们在政治上的运作水平更高,你知道,这不是… 哦,有人说了别人的坏话,这是大多数政治,而是… 他们有实现目标的策略,有时… 踩着敌人的尸体,你知道,通过一些沟通。
Lex Fridman: 是的,更像是《权力的游戏》,更复杂。
Jim Keller: 还有一个很大的时间因素,而不是… 这需要对你的情绪有很大的控制力,我认为,以一种更大的策略来行事。这在… 意义上是有效的,协调成千上万的人去做非常困难的事情,其中许多人不了解自己,更不用说他们是如何参与的了,这会产生各种各样的… 戏剧和问题,我们的解决方案本质上是政治性的,比如你如何说服人们?你如何利用他们?你如何激励他们?你如何摆脱他们?有很多层面的东西很有趣,即使其中一些… 可以说是艰难的,它也不是邪恶的。
Jim Keller: 除非… 你把这种技能用于邪恶的目的,有些人显然会这样做,但这是一套… 运作的技能,我希望我… 我对它感兴趣,但我… 这有点像… “我是一名工程师,我做我的事情,而且…” 有些时候,如果我… 知道如何… 如果我更关注它,并且了解更多关于它的知识,我就能产生更大的影响。
Lex Fridman: 关于人类…
Jim Keller: 人类… 政治权力… 表达层,这是复杂的,有很多东西需要了解。我的意思是,擅长它的人非常了不起,当他们擅长它并且… 可以说是善良的,并且朝着一个好的方向发展时,你真的可以感觉到…
Lex Fridman: 可以完成很多事情,协调你从未想过的事情。
Jim Keller: 但是所有这样的人也有一些非常强硬的棱角,因为… 这是一项艰巨的任务,我希望我在年轻的时候花更多的时间在这上面,但也许我还没有准备好,我在 30 年的时间里都是一个睁大眼睛的孩子。
Lex Fridman: 还是个孩子。
Jim Keller: 我知道。
Lex Fridman: 你希望你的遗产是什么?当有一本… 像《银河系漫游指南》这样的书,这是一个… 关于 Jim Keller 的一句话条目,像… 那个人曾经活过,没有多少人… 没有多少人会被记住,你是… 闪闪发光的人类小生物之一,对世界产生了重大影响,你希望… 你希望人们如何记住你?
Jim Keller: 我的女儿试图… 她编辑了我的维基百科页面,说我是一个传奇人物和一个大师,但他们把它删除了,所以她又把它放了回去,她 15 岁。我想这可能是我遗产中最好的部分 [笑声]。她让她的姐姐… 他们都很兴奋,他们试图把它放在参考文献中,因为那里有文章,他们在告诉你… 所以在你孩子的眼中,你…
Lex Fridman: 传奇?
Jim Keller: 好吧,他们非常怀疑,因为… 他们会比这更好,他们会说:“爸爸,所以…” 是的,这… 这类东西非常有趣。
Lex Fridman: 就伟大的传奇而言…
Jim Keller: 锚定… 好吧,遗产,我真的不在乎。
Lex Fridman: 你只是一名工程师。
Jim Keller: 不,他们一直在考虑建造一个大金字塔,我和一个朋友争论过金字塔还是陨石坑哪个更酷,你意识到到处都有陨石坑,但你知道,他们在 5000 年前建造了几个金字塔,在那里,他们记得…
Lex Fridman: 你认为那是…
Jim Keller: 法老?
Lex Fridman: 那些不容易建造。
Jim Keller: 哦,我知道,他们实际上不知道他们是如何建造它们的,这很棒。
Lex Fridman: 这要么是…
Jim Keller: AGI…
Lex Fridman: 要么是外星人。
Jim Keller: 可能是… 参与其中。
Lex Fridman: 所以我想…
Jim Keller: 我想你将不得不弄清楚很多事情,而不仅仅是土木工程的基础知识。
Lex Fridman: 所以我想你希望你的遗产是金字塔?
Jim Keller: 那会很酷,我的维基百科页面… 被我的女儿定期更新,这两件事就差不多了。
Lex Fridman: Jim,再次和你交谈是一种巨大的荣幸,我希望我们将来能有更多的交谈,我迫不及待地想看看你在 Tenstorrent 的工作,我迫不及待地想使用它,我迫不及待地想让你再次彻底改变计算领域的另一个领域,今天和你交谈是一种巨大的荣幸,感谢你今天的谈话,这很有趣。
Lex Fridman: 感谢大家收听我和 Jim Keller 的对话,感谢我们的赞助商 Athletic Greens 一体化营养饮料、Brooklinen 床上用品、ExpressVPN 和 Belcampo 草饲肉。点击赞助商链接可以获得折扣,同时也是对本播客的支持。现在,让我用艾伦·图灵的一些话来结束:那些能够想象任何事情的人,可以创造不可能。感谢大家的收听,希望下次再见。