原文作者: bayeslord
原文编译:深潮 TechFlow
导读: bayeslord(@bayeslord)是 AI × 加密圈里一个匿名但有分量的账号,不带货、不追热点,专门沿着 scaling law、算法深度这些技术内核往下硬推。
该博主最近写了一个 46 条清单,对科技、AI 和相关技术的未来发展做出了推演,认为所有人都在用过去的效率曲线理解 AI,而真正的大跳跃还没来,智能生产可能还剩四到十个数量级没走完。
他从算法加速一路谈到机器人、资本、永久底层阶级,最后落到最尖锐的地方:相互确保摧毁(MAD)可能失效,军警会被自动化,AI 实验室或被国有化。
原贴已近 100 万浏览。观点虽然极端,但每条相对自恰,值得泛科技读者一看。
这份清单基于我 6 月 4 日发的一条推文串,做了些修改和补充。好几个人说原来那条太难读了,所以整理成这个版本。
智能
1. 算法进步会让所有人措手不及。整个世界——市场、政府、军队、公司、个人——都在用最近这些年的生产效率和规律去理解 AI 的影响,去判断事情大概会怎么走。连那些号称信了「递归自我改进」的新实验室,都觉得这不过是老一套加个智能体在循环里跑。不是这样。我猜智能生产这件事上,还剩很多个数量级没走完,也许多达十个,四到七个的可能性更大。原则上超过十个也不是不行,但那会狠狠撞上我怀疑物理定律真正允许的上限。不太可能,但没被排除。如果这判断成立,那事情的真实走向和它表面看起来的走向就不是一回事,一次大跳跃正在逼近。任何沿着这个方向发生的事,都会让世界变得比几乎所有人定价的都要诡异得多。
2. 我们正处在起飞早期。AI 改进 AI,最后可能成为历史上后果最重的一步。这件事没法打包票,因为我们不知道自己离智能的物理极限和计算极限还有多远,不过我押注还很远(前面说了,每单位算力再榨出 4 到 10 个数量级的智能输出,看起来是可能的)。
3. 既然进了起飞阶段,算法研究就在加速。算力还是稀缺资源,但研究员时间的机会成本降下来了,因为你可以直接派个智能体去跑任何任务,哪怕是瞎折腾。它可能就带回点东西来。所有新想法都背着一笔「优化债」,现在这笔债可以用无人监督的 token 消耗来还。海量的研究 scaling law 曲线会被一条条走完。
4. AI 模型会持续变强,前沿模型尤其如此。唯一真正的墙是物理。模型越来越自主、越来越聪明,而且一直在变好。数学和代码正在被规模加强化学习攻下,剩下的都排在后面。「可验证」和「不可验证」这个区分作为有意义的界限会慢慢消失。往前走,自动化 AI 研究和 AI 学习会越来越像同一回事。把模型训练好,本质上和模型自己学得好是紧密相关的。样本效率、创造力、以及其他所有限制都会被解决,然后在任意规模上逼近算法最优。
5. 长任务智能体必须要有同等长度的训练数据,这个想法是错的,因为泛化在时间维度上是存在的。长任务不是由「长」这个属性堆出来的。这跟 LeCun 那个 (1-e)^n 误差累积的谬误有关。真正发生的是纠错。纠错在多个尺度上同时进行,从单个 token 生成的层面,一直到长任务里的每一步。METR 那张图之所以往上走,一部分原因是智能体开始触及纠错的逃逸速度。
6. 一门工程级别的深度学习科学马上就要出现了。它会把我们推向 AI 的算法成熟期,速度比大多数人预期的快得多——虽然前面提过,这条路原则上能走多远还不清楚。举个例子,一门研究尺度不变性的科学,会大幅提升有用实验的规模和回报,因为一块 GPU 上的实验能告诉你怎么用十万块。
7. 技术人类活动的每一个领域,都会有属于自己的「第 37 手」时刻(AlphaGo 对李世石时下出的那手超越人类直觉的棋),然后很快,「第 37 手」本身会显得过时。我说的是所有领域。
8. 算力会持续变好。今天最好的矩阵乘法机器,离 AI 加速器的物理极限还差得远。数字硅这条路还有很大提升空间。新的衬底也有很多候选,它们欠下的算法债会被自动化榨到极限,但我们还不知道对 AI 来说,在空间、能耗、时间、可制造性、成本上最优的那个是什么。光子学和随机硅都是有意思的候选,但我也预期奇点本身会让人意外。
9. 实验室能领先多远,一部分取决于自动化和规模的回报,这里面包括更深算法深度带来的回报。如果深度学习的实践(和理论)永远是浅的,那长期来看护城河大概不会主要是算法层面的,因为秘密相对容易被发现。最终,蒸馏加数据加时间可以追上算力规模,可能会慢一点。目前看我们部分处在这个状态,但就算真是这样,也没人保证它会一直这么走。
10. 如果随着规模扩大,深度学习变得不那么浅,那每一分自动化和规模的增量,都会给你换来别人越来越够不着的算法秘密。这个状态我们目前看起来也部分符合。两种情况的终点都是边际效用回报随规模和研究饱和的时候。我们不知道那个点在哪。可能离今天 2 个数量级,也可能 20 个。没人知道。
智能供应链
11. 至少未来几年,算力都会是被激烈争夺的资源。但在这段时间里它会开始商品化,我们会回头嘲笑 2020 年代的寒酸。规模在扩大而且奏效,资本跟着进来,一遍遍地转动飞轮。更多矩阵乘法机器、更多晶圆厂、更多能源正在路上。智能生产的瓶颈是暂时的。潜在的经济减速带不算在内。
12. 智能供应链的性质正在变。现在它高度集中在实验室手里。但实验室正在自动化那个让它们变强的核心东西——研究员,以及算法优势的发现。一旦这个过程开始,假设开源跟得不太远,尤其如果实验室不把 AI 研究员模型锁死,那实验室的优势就会转向更容易的融资、更多算力、独家数据、商业关系和好产品。这确实取决于前面说的算法深度那个问题怎么收场,以及其他一些因素。
13. 分布式训练会降低对单体数据中心大规模建设的需求,给非超大规模厂商一些优势。不过在单次最大规模训练这个纯粹的维度上,它不会超过超大规模厂商。
14. 自动化 AI 实验会让算法秘密被广泛发现,因为这些秘密天然比全尺寸训练更容易分发。这条路能走多远不清楚,但我预期相当远。前面说了,深度学习的根本深度仍然未知,这条判断的上界就取决于那个未知。
15. 尽管这些力量表面上对学术界和开源有利,它们仍可能因为算力的成本和机会成本而萎缩。比如说,GB300 是拿去服务 GLM5.2 或 Fable 更值钱,还是在某个学术实验室里做非前沿研究、或者在 Anthropic 内部造 Mythos 2 更值钱?市场会算出需求最大的地方在哪,而现在看,那地方确实是实验室。这意味着开源实验室可能会更加算力饥渴,就算它们有钱也一样,前提是它们还没提前锁定算力产能。就算锁定了,它们也还得盘算自己做研究相比出租算力的机会成本。参考 Colossus 和 Anthropic 那笔合作。
16. 在 AI 能力开始变刺激的环境里(未来 0 到 18 个月),开源在社会层面也可能开始难做,尤其如果我们加速安全的速度很慢——到目前为止确实很慢。
17. 资本涌向实验室的时候,开源可能开始萎缩。这里有个协调问题:除了实验室(也许还有政府),没人想要一个 token 垄断者,但如果这个问题能解决、监管环境又友好,也许结果还行。
机器人
18. 机器人会有一个类似 2022 年 11 月 ChatGPT 那样的时刻,然后再有一个类似 2025 年 11 月 Opus 4.5 那样的时刻。两个都还没发生,但它们要来了,而且会比人们想的快,这是快速 AI 进步的结果,包括 AI 加速的物理系统工程。机器人这两个时刻之间的间隔,看起来不太会是三年。
19. 不过要在物理上把全世界机器人的数量真正堆上去,可能得等到 2030 年甚至更晚。虽然我们一年造大约 1 亿辆车,而人形机器人比车小得多。考虑到我们一年还造 10 亿部智能手机,如果资本和算法跑得够快,2030 年做到每年 1 亿台机器人这个量级是合理的。每年 1000 万台肯定能做到,无人机市场我们已经在做了。只要软件能在小规模上证明人形机器人值这个钱,就能撬动无限资本,撬动的量和证明的质量成正比。
20. 今天看起来像机器人硬性上限的东西会消失,包括样本效率差、数据相对稀缺、手和电机的硬件设计又贵又难、物理世界的分形复杂度,还有那些关于我们怎么在世界里干活的、没被记录下来的隐性知识(比如水管工那套)。世界模型看起来有用,但具体是哪个东西不重要。研究 scaling law 会被一路磨到效用递减为止。
21. 全球对机器人的需求轻松就是几百亿台,尤其如果把各种形态加起来。有太多值得自动化的体力活了。市场会想办法解决这件事,而人们大概不会挡路。
进步
22. 科学正在自动化、虚拟化。这意味着这世界需要的很多进步,会从自动化实验室和模拟里来。我们不知道虚拟化的完整计算极限,但生物、材料科学等领域这种机器人驱动的实验室,会拆掉大量瓶颈,一路上还会推高「已验证虚拟化」的边界,来提升样本效率和「落地成真」的净回报。基本上在每个领域,我们都会有神经模型、显式模拟、真实世界实验的某种组合,一起提升生物、材料科学这类领域里每一块钱、每一份时间的回报。
23. 进步定律到处都是。在深度学习里它们叫 scaling law。任何一条曲线上,S 型曲线什么时候饱和很难判断,地平线那头有没有新的 S 型曲线也很难判断。这里要理解的是,文明进步这台引擎本身也有一条进步定律。我们的进步很可能是饱和型的,跟大多数自然过程一样,但我们其实不知道饱和发生在哪。技术和文明的成熟期可能很近,也可能很远。我们正处在这样一个历史节点:一是我们几乎还没往进步上投什么资源,但这一点正在飞快改变;二是我们正在自动化那台直接产出更多进步的机器。我们身处一个有意思的时代。
24. 规模向上还是规模向外的未来。从零到一还是从一到 n。宇宙允许我们在广度和深度上取得多少进步,是个开放问题。广度好估一些,因为它大致就是「从现在起,物理定律还允许我们做多少步计算?」. 而那个计算能有多「深」——在这个词最泛的意义上——是未知的。有些版本的未来里,科技树深到不可思议,可触及的计算宇宙富饶到我们会一直发明、一直发现,直到物理挡住我们,如果它挡得住的话。另一些版本更平:我们很快就把一棵较浅的科技树点满,相对轻松地抵达技术成熟期,然后把它规模化铺开,直到心满意足或物理挡路。
资本与生产
25. 更多资本加更多智能,意味着一个更强化的资本主义,意味着我们更快地冲向市场均衡。长期看这自然应该导致通缩,导致大多数重要商品竞争到接近零边际成本,包括 AI、食物、住房、医药、电子产品、娱乐和旅行。前提是我们不让人挡路。有些情况下他们大概会挡。
26. 采矿会被自动化。海陆空运输会被自动化。工厂会被自动化。工人会被自动化。配送中心会被自动化。整条供应链的维护、改进和扩张都会被自动化。
27. 会有人类保有工作,保有很长很长时间。这部分人占人类的比例是多少,是个开放问题。说这个数会很高的人过于自信,说这个数会是零的人同样如此。不过确实很难想象,在知识工作里那个「知识」的部分,人类还能在边际上贡献多久。有些需求,比如医生,可能会大幅下降——如果我们有 20 美元一个月的超人 AI 医生,加上按需检测,加上医疗技术进步带来的健康大幅改善。但因为我们现在把医生卡特尔化了,我们可能会继续这么干,当医生仍会是个好职业。娱乐的需求大概会上升,但生产成本会下降,娱乐对人类的技术性需求本就已经大幅减少。不过我们很在乎其他人类,所以也许我们会继续在乎他们,当演员会变得更赚钱。有一种思路能帮你想清楚这事怎么演变:从今天的一个劳动者到消费者之间,供应链里隔着多少中间层。对一个 TikTok 网红来说,零层。对一个医生来说,零层。对一个工厂工人来说,很多层。一份工作能不能被去中介化、能不能被竞争淘汰、可不可替代,大概会很大程度决定它的结局。这套分析相当微妙,这一段远远说不透,但最后要提一句:这一切的前提是我们没遇上需求端的断崖式崩塌——如果太多人不工作,而生产率或政府效率又撑不起全民基本收入或全民基本医疗,那种崩塌就可能发生。
28. 跟上面几点相关但不矛盾:「永久底层阶级」可能真会存在。在它成真的那些较好的世界里,它看起来更像是能动性被高度限制,而不是收入被害惨。对大多数人来说这最终是能接受的,我们的能动性早就被现代社会高度限制了,但它需要心理上的适应,这可能要花时间,也可能很痛苦。
文化与心理
29. 人类心智现在成长和适应得很慢,但这会变。关键在于往好的方向变,对有些人来说这不容易。丰裕的智能和自动化会让我们工程出远比今天更持久的心理结构——今天这套是不适配我们环境的进化遗留物。精神病学和心理学会在不超过几十年里,走完一千年的创新。人类会从根本上变好。粗糙、堕落的「爽感直连」被高估成了风险,因为我们会有更精巧、更多样的心智工程可用。
30. 在一个极度不确定的世界里,人们会比以往任何时候都更凶狠地争夺权力、地位、财富,过程中会心安理得地背叛同类。他们会发明各种理由说明自己的行为是好的,甚至是伟大的。看看四周。
31. 你会活着看到你无法相信的尴尬。
32. 现在有一种明显的双重话语在上演:那些即将、或已经是最富的 0.01% 的人,一边说 AI 会造福所有人、别担心工作,一边又不肯放弃自己的财富,去当一个地球上、哪怕是美国的随机一员,无论期限是一年、五年还是二十年。人们看得见这一点,已经开始反应。说清楚,我也不会放弃我的位置,但我也没说一切都会完美(我也不是最富的 0.01%)。结果就是,我们有建成一个不公世界的风险。有些人在乎这个,我觉得这事应该被更频繁地讨论。而且说得再直白点,美国政治在处理这类问题上的方式烂透了。
33. Elon 看起来很可能成为第一个千万亿富翁。宽泛地说,不难想象芯片、机器人、飞船的需求还会涨到现在的一千倍以上,而这里面很大一块他大概能吃下。
协调
34. 社会各个尺度都需要更好的协调,这一点很明显。以我们现在对协调的理解,它有弱点也有风险,但很可能我们连它的表面都还没刮到。会不会有一个 Satoshi 级别的人物,来干掉 Moloch(象征所有人被迫参与、谁都无法退出的恶性竞争)?
35. 在 AI 上搞一些国际协调,大概是个好主意。我们也许会想要条约和 GPU 计数。这套东西可以设计成:一是拖慢军事和政府权力那种螺旋上升的对抗性积累,二是对科学和其他重要进步领域的影响降到最低。我们可能得不到这个,因为 GPU 太普遍地强大了。核武器上我们做到了,是因为除了疯子没人真的想用核弹。
36. 一次 AI 实验室协调的暂停或减速,现在看起来比 2023 年更有可能。这里权衡很多,但我觉得暂停的可争辩价值,今天比 2023 年略高了一点。「暂停会被浪费掉」这个论点更难成立了,因为我们有了自动化研究——虽然还没完全有(我们有的是自动化工程)。说句实在的,我个人现在并不支持暂停,主要是因为它会打断穿越奇点那根钢丝上太多别的部分,科技树里可能藏着龙,而对手是真实存在的。
权力、暴力、安全、自由
37. 我很遗憾地告诉你,我们的宇宙可能在 Bostrom 意义上是脆弱的(哲学家 Bostrom 的「脆弱世界假说」:技术进步可能掏出某种一旦被发现就足以毁灭文明的能力)。有可能当前世界存在一些自由度,我们没法在保住治理和自由那套规范(这套规范对我们世界的真相是充分的、除了全景监狱之外)的同时,快速协调把它们控制住。注意在这样的世界里,权力积累是个滑坡。这类世界很多最后对大多数人来说都很糟。要是这不是真的就好了,但它可能是真的。
38. AI 扩散会以某个大于零的速度发生,不管有多少潜在的限速因素。世界上有太多计算机,而 FLOP 换智能的汇率处在有史以来最低点。别赌事情会陷入停滞。
39. 「永久底层阶级」这个概念,隐含着「永久上层阶级」的存在。这预设了一群人因为某种相对没有正当性的理由,拥有更多权利。这个理由归根到底永远是暗含的或已兑现的、由暴力支撑的支配。但也许一个有先进 AI 的世界,是一个人类不再有正当理由去统治的世界,没有任何公认的、超越其他人类的能力或地位。这永远不会 100% 成真,但它可能会变得越来越重要,值得去想。我怀疑在实践中,道德层面的论证和实用层面的论证会分岔得相当厉害,也许这样反倒是对的。
40. 各种方向的力量都会逼着机构转型,而这些力量可能通向暴政。通往那里的路有很多,有些打着安全的旗号,有些是良性的权力蔓延——天花板是强大 AI 加全自动军事供应链加全自动武器。我们需要更好的机构。
41. 外面可能有大量零日漏洞。在网络、生物、基础设施、神经、模因、物理等领域。我们根本不理解算法深度和一致性在这些领域里的回报,无论是防御和鲁棒性那一侧,还是破坏那一侧。核武器的算法深度,对世界上最聪明的人类来说并非够不着。明天我们的机器会够到下一级,再下一级。现在我们对算法上很浅的那种随机灾难率知道一点,而对一个算法上很深的文明里会发生什么,几乎一无所知。
42. 相关的一句:科技树里可能有些真的很操蛋的东西。我们真的不知道。
43. 规模化的机器人能力,带来了超越纯计算机模型的、真实的接管和政变式风险,也带来更平常的东西,比如网络攻击的新表面和新向量。我们应该认真对待这些风险,努力去降低它们。
44. 相互确保摧毁建立在 20 世纪和 21 世纪初的技术之上。我们将经历急剧的技术变革,可能是一千年份量的变革压缩在很短的时间里。这意味着 MAD 不是理所当然的。这个问题是可解的,但既不是完全确定、也不是干净利落的颠覆,因为要拿到决定性优势,容错率极低,可能根本不可行。过去有些人用相当不严肃的方式提过这个话题,我觉得那是错的,也是不负责任的。这是我们能讨论的最严肃的话题之一。人们对它感到紧张是对的,但我觉得是时候谈了。
45. 军队、警察、以及政府执法的主要机制,都会被自动化,并且比人类更聪明。你自己看着办怎么理解。
46. 最后:AI 实验室最终可能会被强意义上的国有化。在我看来,美国的体制其实不太兼容这个,但通往国有化的路有很多条,在保守或自由的政治环境里,看起来都不算被禁区挡死。原则上,实验室似乎可以在后端和军方、情报部门保持协调,而不用比现在已经摆出的姿态更张扬。联邦政府拥有我们说的这种单边权力,也极其危险。私营公司拥有这种权力是另一回事,因为它们通常不会直接实施暴力,法律上也不被允许。我不太待见国有化,但这个世界令人困惑,而且看起来正变得越来越凶险。