徽声在线报道

谷歌，似乎已经找到了破解RSI难题的新路径！

近日，谷歌携手Google DeepMind、马里兰大学及弗吉尼亚大学，共同发布了一篇极具影响力的研究论文。

在这篇论文中，他们揭示了一种前所未有的RSI实现方式：AI竟然能够通过“做梦”来实现自我进化？

具体而言，谷歌让智能体将每一步的行动记录下来，构建成一棵树状结构，随后在这棵树中进行“梦境”般的模拟。

在梦境中，智能体不断优化探索策略，随后再将这些策略应用于现实世界中。

论文详细地址：https://arxiv.org/abs/2609.14858

Dream-RSI所展现出的效果令人惊叹：

在算法优化任务中，主流进化搜索系统需要迭代51200代才能达到的水平，Dream-RSI仅需调用317次即可实现。

在圆填充问题上，Dream-RSI更是追平了谷歌自家AlphaEvolveV2的顶尖纪录。

在GPU内核优化方面，Dream-RSI在达到同等性能的同时，生成次数大幅减少了2.43倍。

更为惊人的是，Dream-RSI在底层权重未做任何修改的情况下，Gemini 3.1 Pro和3.7 Flash均可直接应用。

此外，研究还发现了一个颇具趣味性的结论：人类为AI提供方向指引，反而可能不如让AI自由探索。

论文一经发布，便在X平台上引发了热烈讨论。网友Mark Kretschmann激动地表示：“谷歌可能刚刚破解了递归自我改进的难题！”

论文的第一作者Tong Zheng是马里兰大学二年级的博士生，今年夏天他以学生研究员的身份加入了谷歌。他的身后是一个由17人组成的强大作者团队，其中包括DeepMind的研究员和讲席教授。

要实现递归自我改进，智能体必须学会“做梦”。而历史，正是它们梦境中的世界。

Tong Zheng在Hugging Face上留下的这句话，正是整篇论文的核心思想。

历史，是智能体做梦的舞台

Dream-RSI旨在解决进化搜索领域长期存在的瓶颈问题。

以AlphaEvolve为代表的系统已经证明，通过进化搜索，编码智能体能够发现人类未曾探索的算法。然而，这些系统存在一个致命弱点：探索策略完全依赖人工预设。

哪个分支应分配更多算力，哪个分支应尽早剪枝，何时开启并行探索，这些决策均由工程师预先设定。当搜索空间变得庞大时，固定策略往往会导致算力浪费在无效路径上，且无法从中吸取教训。

那么，能否让策略自行进化呢？理论上可行，但实际操作中却面临评估成本高昂的问题。

评估一段候选代码的性能相对简单，只需运行一次即可。然而，评估一套探索策略却需要让智能体从头到尾运行数百上千轮，观察最终结果后才能给出评分。每次修改策略都需要重新运行整个发现过程，耗时数天才能得出一个评分，这显然是不现实的。

针对这一问题，Dream-RSI提出了创新的解决方案：将运行过程保存下来，评估新策略时无需重新运行，直接利用历史数据进行回放。

具体而言，Dream-RSI将“执行任务”和“制定策略”分为两个层次：

-底层是负责执行的“发现智能体”（Discovery Agent），由Gemini 3.1 Pro或3.7 Flash驱动。它接收工作区，读取上下文，修改代码，并提交给评估器进行评分。

-顶层是轻量的编排层，其中包含“探索策略”（一段Python代码），负责决定每一轮从哪个节点继续、开启多少并行尝试以及何时止损。

底层模型保持不变，自我进化的对象仅为这段策略代码。

每次真实探索的结果都会被记录在一棵“发现树”中。根节点是初始工作区，每个子节点记录了一次尝试的完整现场，包括文件系统快照、生成产物、评估诊断和得分。

这棵树，实际上就是一个模拟器。

策略只需决定从哪些节点继续、开启多少并行尝试。而每个节点往下走会得到什么结果，树中已经有所记录。

因此，当策略需要迭代时，无需在真实环境中重新运行代码，只需在已构建的树上重新走一遍历史即可——

若想尝试“这条路多走两步”，则读取树中对应的记录；若想尝试“那条路早点放弃”，则少读几个节点。

整个评估过程无需调用模型或运行代码，仅需读取历史数据。

论文将这种机制形象地称为“做梦”。就像棋手复盘时无需重新摆盘再下一遍，只需翻阅棋谱即可。

Dream-RSI的运行闭环

基于这一洞察，谷歌构建了Dream-RSI框架。其自我改进循环主要分为三个阶段：

1.真实探索：当前最新的探索策略引导智能体在真实环境中运行（如调用LLM、编译并执行代码），并将所有路径、决策和执行反馈记录下来，作为一棵新的结构化探索树追加到历史数据库中。

2.构建模拟器：将更新后的历史数据库转化为一个可重用的“重放模拟器池”。

3.基于做梦的策略改进：一个专门的LLM策略开发智能体在这个模拟器中开始“做梦”。它不断修改和重写探索策略的代码，生成上千个候选策略，并在重放模拟器上快速测试它们。

做梦的评分由三项指标构成：一是这一轮梦中找到的最优分数；二是扣减尝试次数对应的成本；三是并行奖励，鼓励策略一轮批量运行多个尝试。

得分高的策略意味着它“多快好省”。

负责修改策略的是另一个“策略开发智能体”。

它会关注三样东西：当前策略在梦中走过的轨迹和分数、前几版修改的反馈以及整棵发现树。然后，它直接修改策略代码。

一轮修改会生成若干版策略，每一版都会在梦中进行评分，得分最高的那一版将成为下一轮的正式策略。

这意味着，新策略的下限是“原地踏步”，上限则是“无限进化”。

RSI的飞轮就此开始运转。

为何这个策略永远不会变差？

在离线改进阶段，策略开发智能体会经历多轮的代码迭代。由于当前策略本身也包含在候选池中，只有当新重写的策略在模拟器上的综合重放得分（平衡了探索质量、算力成本和并行效率）高于当前策略时，新策略才会胜出并被部署。

因此，从数学角度来看，Dream-RSI部署的新策略表现绝不会弱于上一代。随着新策略被重新部署到真实世界中探索，它会带回更深、更广的探索树，从而使模拟器也随之进化。

智能体与它眼中的“世界”就这样在相互咬合的齿轮中共同成长。

策略改进后上线发掘新算法，历史数据增多，梦境变得更加准确；梦境更准确，策略继续进化。树中没有的分支，梦中也无法到达，因此每一轮真实探索都在为下一轮的梦境拓展边界。

第一版策略非常朴素，只会开启一堆独立的工作区各自运行。到了后面的轮次，策略学会了精打细算。

在ConvDiv内核实验中，当性能处于上升期时，策略主动将每轮尝试次数从110次减少到50次；一旦性能停滞不前，它又将探索力度拉满，分数随即再次提升。

没有人教它这样做，这是它从自身历史中“悟”出来的。

317次碾压5万代：人类指引反而成为累赘

论文在三个领域进行了实际测试。

1.算法工程：Lasso正则化路径求解器

第一个领域是算法工程，任务是求解Lasso正则化路径。这是高维统计中的一个难题，要求在保证数值正确的前提下，尽可能快速地计算整条路径。

使用Gemini 3.1 Pro运行Dream-RSI，仅调用了317次，就将求解器的平均运行时间从3587.1毫秒缩短至2931.0毫秒。

相比之下，同一模型采用固定策略需要调用550次才能达到相同水平。而基线SimpleTES为了获得相近结果，共生成了51200次。

换成更经济的Gemini 3.7 Flash后，模型消耗了1879次调用，成功将运行时间缩短至2350.6毫秒。

由于进化发生在探索层面，与底层模型的大小无关，因此小模型同样能够受益。

Dream-RSI挖掘出的求解器采用了与基线不同的方案。基线根据问题维度在LARS和坐标下降两种算法中选择一种，而Dream-RSI找出的方案则将自适应融入了活跃集优化内部。

具体而言，它先用强规则筛选特征，再用柯西-施瓦茨不等式进行KKT剪枝，只有当上界无法判断某个特征时，才回头计算精确梯度。

2.数学优化：三大高难度数学任务

在数学优化领域，差距更加显著。

在“和差问题”、“圆装填”和“自相关不等式”三个极耗算力的离散和几何优化问题中，Dream-RSI在1000代以内就达到了或超越了极强的基线性能。

与需要51200代算力开销的SimpleTES相比，Dream-RSI节省了超过50倍的计算预算，且获得了同等甚至更优的结果。

3.GPU算子工程：KernelBench极限压榨

第三个领域是GPU内核工程，这也是谷歌最为关注的领域。

论文共测试了四种内核。

在VGG16和LayerNorm测试中，比较的是节省了多少资源。将内核优化至与固定探索相同性能时，Dream-RSI所需的生成次数分别仅为对方的1/2.43和1/1.79。

在ConvDiv和ConvMax测试中，比较的是性能提升了多少。给双方相同预算时，Dream-RSI优化出的内核性能分别是固定探索的2.09倍和1.44倍。

最后，研究团队将之前的历史轨迹提炼成方向性提示，融入Prompt中“手把手”教导智能体。

结果却出乎意料：在同等预算下，加入人类指引的始终比不加入的更差。

深度剖析：直接为AI“总结经验”，反而效果更差？

论文中有一个非常反直觉的实验。

研究人员尝试了“经验总结法”，让大模型将历史总结成高层指导意见，以指导下一轮的探索。

然而实验结果却令人大跌眼镜：注入了高层次经验总结的智能体在探索表现上不仅没有提升，反而显著差于没有任何指导的原始基线！

背后的原因在于，一旦将经验生硬地抽象为“高层原则”，它们便会立刻转化为AI的认知偏见，过度约束AI的搜索空间，扼杀探索的多样性，使AI陷入局部最优解。

相反，Dream-RSI的“做梦”机制不提供任何“空洞真理”，而是直接让新策略与具体的历史树进行碰撞，在微观的并行控制、分支优先级和提早停止规则上进行代码级优化。

这种方式保持了探索空间的开放和多样性，反而远胜于前者。

暑期实习生领衔一作，

身后是17人豪华团队

论文的第一作者Tong Zheng（郑童）2021年本科毕业于东北大学，本科期间便在国内顶尖的机器翻译组（肖桐组）从事研究工作。

2024年，他进入马里兰大学攻读博士学位，师从黄恒教授。Dream-RSI正是他2026年夏天在谷歌担任Student Researcher时的研究成果。

从ICLR 2025让模型一次生成多个草稿的投机解码，到ICLR 2026和ICML 2026的Parallel-R1和Parallel-Probe（利用强化学习教模型并行思考），他始终专注于同一件事——避免模型一条路走到黑。

Dream-RSI打分中的“并行奖励”与这一思路一脉相承。只不过，以前是让模型的思维并行，现在是让智能体的探索并行。

导师黄恒是马里兰大学首任Brendan Iribe讲席教授，拥有约300篇顶会论文，主持7个NSF项目和3个NIH项目。近年来，黄恒组里的学生纷纷投身于大模型推理的研究。

在17人的作者团队中，通讯作者Xidong Wu和Zheng Zhang来自谷歌，DeepMind一侧则有推荐系统领域知名的SASRec作者Wang-Cheng Kang。

一个暑期实习生担任一作，身后是一群资深研究员署名，谷歌内部对这条路线的重视程度可见一斑。

通往ASI的隐秘通道是否已被打通？

此前，谷歌产品负责人Logan Kilpatrick透露了重磅消息：谷歌正密切关注前沿技术，并已观察到RSI的早期迹象！

他以Gemini 3.5到3.8大约每三到四周更新一次为例，并表示Gemini 4将是迄今为止最大、最具野心的预训练模型，希望借此重回争霸行列。

他强调，要将算力和人力投入到写代码、做研究、做科学等领域，因为这些领域最有可能加速下一轮训练并降低成本。

为何谷歌如此坚信RSI正在发生？

因为AI自我改进的范式正在悄然改变。过去十年，当人们谈及RSI时，首先想到的总是“AI自动修改自己的权重，训练出下一代神明”。

然而，Dream-RSI却展示了另一种可能性：模型权重并非必须先发生变化，它可以通过自我重写外围的“Harness”来增强自身能力！

当模型拥有这种强大能力时，便会以最经济的算力去解决最难的问题。

正如论文结尾所言：

智能体必须学会做梦才能实现递归自我改进，而历史正是它做梦时所处的整个世界。

随着Gemini 4等超大型预训练模型的临近，这种“在虚拟历史中做梦”的RSI或许即将到来。我们距离那场智能大爆炸，或许只有一步之遥了。

参考资料：

https://dream-rsi.com/

编辑：摩西 Aeneas