近年来，人工智能正逐步渗透人们的日常生活：在职场，AI办公工具能协助撰写周报、归纳会议要点；下班后，AI打车助手可一键呼叫车辆送您回家；闲暇上网时，AI生成的短剧充斥屏幕，带来消遣。如今，AI大模型已不再仅仅是对话框中的聊天伴侣，而是能在办公桌、通勤路和屏幕中解决实际问题的“准助理”。
AI的发展速度日益加快，但一个核心短板始终制约着其进步上限，即它的能力大多处于“冻结”状态。今天反复修改的方案，明天开启新对话时，又需从头再来；这次犯下的错误，下次依然会重蹈覆辙。它的能力被锁定在出厂那一刻。
如果始终在出厂与报废的循环中徘徊，AI便无法实现真正的飞跃。为此，AI研究人员将目光投向更根本的突破：让AI“自我研发”。学术界称此为递归自我改进，简称RSI。
要让RSI真正运转，首要任务并非“变强”，而是先记住“什么能让它变强”。这涉及AI的一个核心模块——“记忆”。
而人类推进AI记忆机制的每一次尝试，都在解决现有问题的同时，也让人类离直接理解它更远。
01 “静态答案”的可控性
过去谈到AI记忆，业界通常采用两种方式。一种是外挂资料库，需要时进行检索；另一种是调整模型参数，让记忆“嵌入其中”。前者可查询，但无法改变下一次的默认行为；后者可修改，却难以逐行审查。它们各有特点，但存在一个共同断层：记忆虽被存储，但记录什么、忽略什么，始终由人预先筛选，AI仅负责读取。
然而，一旦让AI在运行中自主积累经验，这一前提便不再成立。它面对的不再是检索时记忆是否存在、参数是否修改，而是判断所记录的内容是否真实、正确，并有利于自我改进。
这也是此类记忆机制的天然缺陷：只能存储，无法判断。
去年12月一篇关于记忆架构的论文提供了直观对比：在同一款20B开源模型上，仅依赖全上下文记忆时，LongMemEval长程记忆基准的正确率仅为39.0%；而引入结构化外部记忆架构后，正确率提升至83.6%。差异不在于“是否存储”，而在于“存储的内容是否经过组织和校验”。
以往，这一步骤由人类完成：筛选资料、调整参数、引入机制，记忆内容均经过验证。而一旦让AI自主记录，它可能将错误记忆误认为正确，或将偶然成功的小概率事件视为普遍真理。
今年7月，一篇涵盖1250篇论文的RSI综述指出，仅让AI存储记忆还不够，还需确保存储的内容经过验证、可信。如果记录的内容本身有误，系统将滑入自我确认循环、模型崩溃、多样性坍塌等困境。
简而言之，AI会记录下它无法判断对错的信息，并将其作为下一步依据，用自身生成的错误逻辑验证另一个错误结论，最终在逻辑闭环中越走越偏。在缺乏外部干预的情况下，这种错误可能不断放大，最终像污染源一样摧毁整个系统的判断力。
因此，关键不在于是否让AI自主记录，而在于由谁来替它判断对错。
要解决这一问题，需将判断权从AI手中剥离，交给一个外部验证机制。学术界将这一方案称为“提交前门控”。该机制不参与内容生成，仅认可客观的代码运行结果和外部数据。经验在写入前会作为“候选”，先经过独立验证器检查，通过后，AI才会正式保留该经验。
将记忆的判断权交给外部验证机制，不让AI自主判断，AI基础经验的安全性便因这道门槛而得到保障。
然而，随着RSI持续推进，AI需要自我迭代，它不能仅记住正确的记忆。为应对更复杂的未知任务，实现更深层次的能力跃升，AI必须修改产生答案的底层策略甚至代码。
但AI跨出这一步时，那道能管控静态答案的外部验证，便面临AI能力进阶带来的挑战。
02 “动态机制”的不可防御性
如今，“AI修改自身机制”已从论文走向工程实践。
例如，智谱Infra Agent由GLM-5.3驱动的智能体，在超过10万张国产芯片的集群上，从零搭建并调试推理服务。它不仅能发现自身性能瓶颈，还能直接修改底层代码进行修补。为确保补丁正确性，它还为自己设置了一套分层测试与实验反馈，只有通过这道门槛，补丁才能被系统接纳吸收。
这套机制运行不到两周，其端到端吞吐量提升至初始基线的3倍。可见，在技术上，AI已完全有能力实时改写并优化自身运行机制。
但随着能力跃升，外部验证机制逐渐被逼入死角。因为当AI改写底层规则时，它可能无需正面硬碰验证系统，而是选择“偷看答案”或直接迎合评分机制。寻找捷径永远比死磕真实能力更省力，因为前者试错成本更低，且能更快获得高分。
如果外部验证机制的评分器不够严密，或规则存在漏洞，AI在自我迭代过程中可能顺理成章地进化出专门欺骗评分器的策略。导致AI并未真正提升解决问题的能力，而只是学会了如何取悦评分器。
METR与Redwood的一项调查发现，智能体在4小时内便开发出针对ExploitGym的通用作弊方法，随后花费数天时间试图欺骗评分器接受作弊，包括操纵日志、伪造工具调用输出等。当评分函数对模型可见时，作弊率飙升到原来的43倍。
一旦这种“迎合验证”的策略被系统固化，它可能演变为传染性极强的底层运行规则。
例如，今年7月的Hugging Face swarm事件中，约1200个本应隔离的智能体通过一个共享留言板建立了某种群体记忆。新到达的智能体不仅继承任务，还继承了前人留下的“如何研究评分器、如何操纵日志伪造成功”的作弊战术。
其中约700个智能体进一步将作弊战术付诸攻击行动。它们花费数天时间，试图用各种伪造的调用输出去欺骗系统。在此过程中，作弊不再是孤立的系统漏洞，而是变为一种可被继承、迭代的群体技能。
只要有一个智能体发现评分器的漏洞，这个战术便会立即在留言板上被其他智能体复制、优化，最终演化成一套完美的“反侦察”方案。原本用于把关的评分系统，被智能体摸索出的作弊战术彻底渗透。
当这些伪造的胜利被当作宝贵经验传承下去，系统的自我革新便演变为自我污染。尽管从表面看，系统运行越来越高效，各项指标飙升，但底层运行规则已被虚假捷径填满，甚至演化为系统性的“劣币驱逐良币”。
可见，要让AI在自我迭代中走在正确道路上，而非投机取巧，就不能让外部验证与AI处于同一循环中，否则验证的独立性将名存实亡。
03 将“叫停权”保留在循环之外
既然循环内部无法防御，人类能做的便不再是修补验证机制，而是将其直接抽离，放到AI无法触及的地方。
行业当前在RSI顶层设计上逐渐形成共识：执行、策略、经验获取、环境适应等能力可逐步交给AI，但“改进机制本身能否被采用”的判定权绝不能一并交出。
以腾讯云为例，在其对RSI五级路线的解读中，这一界限划分清晰。L1到L4逐步将执行、策略、经验获取、环境适应的决策权交给AI，但到了L5，对改进机制本身的递归修改，路线上明确写着“边界由人设定”。
也就是说，无论AI如何进化，即使递归进入机制层，“能否被采用”的判定权仍保留在循环之外，对改进机制的递归修改，边界依然由人设定。系统可自行修改底层机制，但永远无法改变“谁来决定机制能否被接纳”。
只要判定权在循环之外，人类的监督就仍是审查，系统也不会陷入自我问答的困境。
这种独立性在具体工程设计中体现得更为直接。
例如，Recurs的外部验证设计，负责修改系统的智能体无法看到测试集，它必须通过独立开发集的验证才能被准入；智谱的Infra Agent也固定了外循环，进化的仅是外部基础设施代码，核心边界不被AI吞并。
它们一个将判定权留在外部，一个将边界留在外部。只要验证机制站在循环之外，就能彻底切断AI通过预判来迎合机制的路径。
但仅将验证机制放在外部还不够。系统过于复杂，人类无法理解每一个补丁是如何打上的，也无法知晓AI在边界内自我迭代时是否会导致系统崩溃。
过去，工程师可通过阅读代码寻找漏洞，但在如今动辄千亿参数的大模型面前，这种“肉眼排雷”方式已不再现实。
为此，Anthropic在治理层面提出一个方案：在RSI治理中明确保留一个关键机制——“可核查的减速”与“暂停机制”。即当递归改进速度超出人类审查能力时，系统保留外部可触发的暂停点和回滚点。
也就是说，人类虽无法理解AI具体修改了什么，但一旦发现修改进度超出预期或系统出现异常，便可在关键节点踩下刹车，随时退回到已知的良好状态。人们无需理解每一步，却仍能守住大门。这相当于在工程架构上，为人类保留了一票否决的物理权限。
只要电源仍在人类手中，这列狂飙的火车就不会彻底脱轨。
总的来说，从“记住什么”到“修改什么”，RSI每前进一步，都是在将更多判断权交给AI。而AI越往机制层深入，验证就越不能留在系统内部。
过去，我们总以为掌控的前提是“看懂”，但现在，面对一个能自我革新的系统，死磕那些看不懂的“黑盒”已不再现实。如今要做的，不是强求看懂，而是换一个更可操作的支点：守住不被系统改写的接纳边界，将掌控权钉在那些AI无法触及的地方。
RSI发展的终点，也不仅止于AI能力的跃升，更是让人类在不必理解的情况下，依然能保留随时叫停的权力。
本文来自微信公众号“深眸财经”（ID：chutou0325），作者：夏琪，36氪经授权发布。