强化学习之父:“我没疯,是整个AI圈疯了”

日期:2026-08-22 20:05:38 / 人气:13



“我没疯,是其他人都疯了。”Richard Sutton坐在红杉资本的播客镜头前,语气平静得像在陈述天气。作为现代强化学习奠基人、《苦涩的教训》作者,他刚从一场癌症死局里活下来,转头看着当下AI圈把“预训练+后训练+冻结权重”当成终极范式,只觉得荒诞。

2019年写下《苦涩的教训》时,Sutton就在提醒行业:依赖人类先验知识的路径终会撞墙,真正能随算力扩展的,是通用学习与搜索方法。如今大模型把互联网数据啃完,开始靠合成数据续命,他直接定性:“这是巨大的错误。”原因很简单——真实世界是“大世界”(Big World Hypothesis):复杂度远超互联网数据总和,也远超人类专家的认知边界。合成数据本质是“人类写程序生成世界”,最终还是被人类知识卡死。

他拿蝙蝠无人机举例:想让无人机靠回声定位飞行,人类专家得先摸透声学物理,才能生成“正确”的合成数据;但真实世界里的摩擦力、电机磨损、突发气流,人类根本模拟不全。更讽刺的是,现在的自动驾驶仿真器,本质是人类在闭环里修修补补——工程师发现仿真和现实有差距,手动改仿真器,再让模型在里面练。Sutton反问:“难道世界上只存在那些我们雇得起工程师手搓仿真器的问题?”

真正的智能,必须在部署后继续从经验里学习。但当下大模型的逻辑完全相反:把人类所有知识塞进权重,上线后彻底冻结,靠上下文窗口(Context Window)临时“记性”应付交互。Sutton点破断层:“上下文学习只是改变激活状态,底层权重纹丝不动。而所有结构化抽象、新概念形成,都发生在权重更新过程里。”

这不仅是算法问题,更是生物本能。人类失去本体感觉后,能靠视觉反馈在两年内重新学会走路——大脑神经可塑性会打破固化20年的回路。而现在的AI,哪怕Cursor的代码补全模型能定期用用户数据批量更新权重,也只是折中方案:它依赖海量用户数据聚合,无法让单个用户把私有技能“教”给专属模型,更做不到实时单样本更新——传统反向传播一用单样本微调,立刻触发“灾难性遗忘”,把旧知识冲得干干净净。

Sutton的Oak Lab要解的,就是这个算法死结。他和弟子Khurram Javed提出的“持续反向传播”(Continual Backpropagation),核心是两招:一是给每个权重配独立学习步长,元学习动态调节,让绝大多数旧知识更新幅度极小;二是持续注入随机初始化的新神经元“幼苗”,用反向传播当“测试者”筛选有用特征,像生物大脑终身维持神经可塑性。这套算法必须从训练第一天就用,同步学习“世界知识”和“如何学习新知识”的元能力,而不是给现成大模型打补丁。

为什么大厂不做?Sutton一针见血:“他们被困在局部最优解里。”新范式在跑通前必然经历性能倒退,而头部实验室被商业化产品绑架,不敢赌“前途未卜的阵痛期”。更何况,行业正沉迷于“堆算力秀肌肉”——2,000瓦跑万亿参数模型?Sutton算过账:按摩尔定律,10年后能效提升100倍,20瓦跑万亿参数完全可行。现在缺的不是硬件,是敢换赛道的信念。

他并不否定大模型的价值:“大语言模型是惊艳的科学突破,颠覆了人类对语言处理的认知。”但语言只占智能的20%-25%,“熟练用语言不等于真智能”。真正的智能,是从微观肌肉控制到宏观航线规划的全光谱能力,是部署后持续更新世界模型、自主提炼抽象、基于自建模型规划的能力——AlphaGo下棋靠人类给定的规则,而现实世界的规则,必须自己学。

当被问及“20瓦万亿参数心智”是否激进,Sutton笑了:“这已经触手可及。”Oak Lab的野心,是打造具备自洽性的通用心智——不是全知全能的单一系统,而是无数基于统一架构、靠各自经验进化的智能体生态。至于人类会不会被取代?“未来会比现在精彩得多,人类永远不会无关紧要。”

对话最后,Sutton回到那句座右铭:“我没疯,是其他人都疯了。”在AI圈集体押注“冻结权重+合成数据”的当下,这句话更像一句清醒的警告:当整个行业把“停止学习”当成智能的终点,那个坚持“学习必须持续”的人,反而成了最后的清醒者。

核心观点速览:
1. 合成数据陷阱:依赖人类生成,被人类认知边界卡死,无法覆盖真实世界无限复杂度。
2. 学习冻结悖论:大模型上线后权重冻结,仅靠上下文学习,无法形成新抽象、更新世界模型。
3. 灾难性遗忘:传统反向传播无法支持单样本实时更新,必须靠“持续反向传播”解决。
4. 大世界假说:真实世界复杂度远超任何仿真,智能体必须自主从经验中学习。
5. 行业困局:大厂被商业化绑架,不敢承担新范式初期的性能倒退,困在局部最优解。
6. 智能本质:语言只是智能子集,真正的智能是持续学习、自主抽象、基于自建模型规划的能力。

作者:亿兆体育




现在致电 OR 查看更多联系方式 →

COPYRIGHT 亿兆体育 版权所有