持续学习长期自适应智能

01

Continual Learning of Large Language Models: A Comprehensive Survey

综述 / 研究地图

发表：2024 · arXiv

+

一句话结论

用“纵向能力演化 × 横向时间/领域演化”统一整理 LLM 持续预训练、领域适配和持续微调，并把评价协议与数据资源纳入同一研究框架。

研究问题

LLM 上线后会同时面对知识过时、领域迁移和用户需求变化，但经典持续学习分类不足以覆盖预训练—对齐的完整生命周期。

方法机制

作者先定义 vertical/horizontal continuity，再按 CPT、DAP、CFT 三个阶段梳理 replay、正则化、参数隔离、动态架构等方法，并单列评测与数据。

证据与实验

这是一篇结构化综述，核心证据不是单一 SOTA 数字，而是跨 300 余篇工作的分类、比较表和研究空白；重点结论是可访问、贴近真实部署的 benchmark 仍然不足。

02

Continual Learning for Large Language Models: A Survey

综述 / 入门

发表：2024 · arXiv

+

一句话结论

从基础语言模型持续学习的场景、方法与评测出发，给出一份更紧凑的 LLM 持续学习入门地图。

研究问题

传统持续学习方法能否直接迁移到参数巨大、训练昂贵、能力维度复杂的语言模型，并没有统一答案。

方法机制

文章按场景和机制梳理数据重放、正则约束、参数高效更新、模块化/扩展式架构与知识编辑，并讨论模型、任务和指标选择。

证据与实验

价值主要来自文献综合和概念比较：不同路线在数据保留、隐私、参数增长、推理路由和训练成本之间存在系统性权衡。

03

Continual Learning of Large Language Models

教程 / 课程地图

发表：2025 · EMNLP Tutorial

+

一句话结论

EMNLP 2025 教程摘要把持续预训练、指令微调、对齐与 lifelong agents 串成一条面向部署的学习路线。

研究问题

LLM 的知识和用户偏好持续变化，但更新过程还必须同时满足计算效率、遗忘控制、伦理与安全要求。

方法机制

教程提出分层讲授框架：先讲 CPT，再讲 instruction tuning 与 alignment，最后扩展到能自反思、调用工具和自主适应的 lifelong agents。

证据与实验

该文只有两页，是教程范围声明而不是方法论文；可将其视为研究议程和课程大纲，不能把它当作实验结论来源。

04

Lifelong Learning of Large Language Model Based Agents: A Roadmap

智能体 / 路线图

发表：2025 · arXiv

+

一句话结论

把 lifelong LLM agent 拆成感知、记忆、行动与自我改进环路，并从组件、数据流和评测角度提出路线图。

研究问题

现有 LLM agent 多依赖静态模型和短期上下文，无法在长期交互中稳定吸收经验、形成技能并避免错误累积。

方法机制

论文从 agent 的记忆、规划、工具使用、反思和模型更新出发，区分参数内与参数外适应，并归纳环境交互中的 lifelong learning 问题。

证据与实验

作为 roadmap，证据来自跨领域系统归纳；重要观察是仅增加检索记忆并不等于学习，长期系统还需要经验选择、验证和能力内化。

05

Continual Learning in Large Language Models: Methods, Challenges, and Opportunities

综述 / 前沿更新

发表：2026 · arXiv

+

一句话结论

面向 2026 年文献重新归纳 LLM 持续学习方法、开放挑战和机会，强调从静态任务序列走向真实在线流。

研究问题

研究快速扩张后，方法名称相似但假设不同，尤其是旧数据访问、任务边界、模型更新权限与评价时间跨度常被混用。

方法机制

文章按数据、参数、架构、记忆与自适应机制组织工作，并集中讨论稳定—可塑性、扩展性、隐私、评价泄漏和安全。

证据与实验

主要贡献是最新文献综合；它把在线约束和长期代理纳入传统 forgetting/transfer 之外的评估视角。

06

Continual Learning and Catastrophic Forgetting

基础机制 / 综述

发表：2024 · arXiv

+

一句话结论

从表示漂移、梯度干扰和稳定—可塑性矛盾解释灾难性遗忘，并总结重放、正则与参数隔离三类缓解策略。

研究问题

顺序训练为何会迅速损害旧任务，以及“保留旧能力”和“吸收新知识”之间为何难以兼得。

方法机制

文章综合神经网络持续学习理论与实验，将缓解机制归为保持重要参数、重现旧分布、隔离更新空间和扩展容量。

证据与实验

综述表明遗忘不是单一指标能刻画：最终准确率、后向迁移、表示变化与短期稳定性缺口分别揭示不同失效。

07

Overcoming Catastrophic Forgetting in Neural Networks

正则化 / 基础方法

发表：2017 · PNAS

+

一句话结论

EWC 用 Fisher 信息估计旧任务参数的重要性，并以加权二次惩罚限制后续更新，是参数正则化路线的经典起点。

研究问题

同一组网络权重顺序学习多个任务时，新任务梯度会覆盖旧任务所需参数。

方法机制

训练完旧任务后估计对角 Fisher；新任务目标加入 λ/2·ΣF_i(θ_i−θ_i*)²，使重要权重更“僵硬”、不重要权重保持可塑。

证据与实验

论文在排列 MNIST 和 Atari 任务序列上展示了比朴素顺序训练更好的旧任务保持，说明参数重要性加权优于统一 L2 约束。

08

Gradient Episodic Memory for Continual Learning

重放 + 梯度约束 / 基础方法

发表：2017 · NeurIPS

+

一句话结论

GEM 把旧样本记忆转成梯度不增旧任务损失的约束，并通过投影求得可行更新方向。

研究问题

简单 replay 仍可能产生伤害旧任务的梯度，需要把“不得变差”直接写进优化约束。

方法机制

为每个旧任务保留 episodic memory，计算当前梯度与旧任务梯度；若违反内积约束，就解一个小型二次规划把梯度投影到可行锥。

证据与实验

在多任务顺序学习基准上，GEM兼顾最终性能、后向迁移与前向迁移，并把正迁移纳入持续学习目标。

09

Lifelong Pretraining: Continually Adapting Language Models to Emerging Corpora

持续预训练 / 奠基

发表：2021 · arXiv

+

一句话结论

把语言模型预训练置于持续到来的语料流中，联合研究新语料适应、旧知识保持与跨域迁移。

研究问题

每当新领域或新时间段语料到达就从头训练代价过高，直接继续预训练又会使旧域困惑度和下游能力退化。

方法机制

论文结合持续预训练目标、旧知识保持机制与跨阶段评估，比较顺序训练、数据重放和参数/表示约束。

证据与实验

实验说明持续预训练不能只看当前语料 loss：旧域保持与下游迁移会随数据顺序、混合比例和更新策略显著变化。

10

ELLE: Efficient Lifelong Pre-training for Emerging Data

动态架构 / 持续预训练

发表：2022 · Findings of ACL

+

一句话结论

ELLE 通过函数保持式模型扩展与知识保持训练，让语言模型在新语料到来时增加容量而不破坏已有功能。

研究问题

固定容量模型长期吸收新分布会加剧干扰，而每阶段训练独立模型又无法共享知识。

方法机制

在阶段边界扩展网络宽度/深度，并以保持原函数输出的初始化承接旧模型，再配合预训练与知识保持目标适应新语料。

证据与实验

在连续领域语料上，扩展式模型相对直接继续训练改善旧域保持与新域适应，展示动态容量的可行性。

11

How to (Re)warm Your Model? Reusing Optimizer State for Continual Pre-Training

优化动态 / 持续预训练

发表：2023 · arXiv

+

一句话结论

系统研究持续预训练阶段切换时学习率再升温与优化器状态复用，说明训练动态本身就是遗忘的重要来源。

研究问题

新数据到达时应重置学习率和 Adam 状态，还是沿用旧训练状态，并无可靠经验法则。

方法机制

控制数据切换、学习率 re-warming 幅度和 optimizer state 复用，比较适应速度、稳定性与最终 loss。

证据与实验

结果表明简单地完全重置或直接沿用都可能次优；合适的再升温与状态处理能改善新分布适应且减少训练不稳定。

12

Investigating Continual Pretraining in Large Language Models

实证研究 / 持续预训练

发表：2024 · arXiv

+

一句话结论

通过大规模受控实验拆解持续预训练中的数据重放、学习率、语料相似性和训练预算。

研究问题

已有方法常同时改变数据与优化配置，难以判断遗忘究竟来自分布漂移还是训练配方。

方法机制

构造连续领域/时间语料，系统改变 replay 比例、数据顺序、模型与超参数，并同时测新域、旧域和通用能力。

证据与实验

论文显示少量旧数据混合通常很强，但最佳比例依赖新旧分布；持续训练的计算收益必须与从头训练和联合训练公平比较。

13

TiC-LM: A Multi-Year Benchmark for Continual Pretraining of Language Models

时间基准 / 持续预训练

发表：2025 · ACL

+

一句话结论

TiC-LM 用 114 期 Common Crawl 构建网页级时间持续预训练基准，并证明元调度配合固定比例重放可显著省算力。

研究问题

旧 benchmark 太小且缺乏真实时间结构，无法回答网页知识更新与旧能力保持如何随年份演化。

方法机制

按 Common Crawl dump 建立时间流，同时在通用网页与 Wikipedia、StackExchange、代码文档等特定域做时间分层评测。

证据与实验

在通用 CC 上，自回归 meta-schedule + fixed-ratio replay 达到与从头训练相当的 held-out loss，而计算量减少约 2.6 倍；特定域对 replay 的需求不同。

14

Continual Pre-training of Language Models: How to Re-warm Your Model?

训练动态 / 稳定性

发表：2025 · ACL

+

一句话结论

揭示持续预训练开始后性能先骤降再恢复的 stability gap，并用数据相关性与训练调度缩短这段危险窗口。

研究问题

只看训练结束会掩盖更新初期的临时能力崩塌，而在线部署往往无法容忍这种短期失稳。

方法机制

跟踪训练过程而非仅最终 checkpoint，分析 epoch、数据相关性和分布切换，再设计预算受限的稳定更新策略。

证据与实验

论文报告在 OpenLLaMA-3B 医疗设置中，平均分可从 36.2 提升到 40.7，同时只使用约 40% 的预算，说明稳定性和效率可联合优化。

15

Continual Learning via Sparse Memory Finetuning

稀疏参数记忆 / 持续更新

发表：2025 · arXiv

+

一句话结论

只更新对新知识高度激活、但在预训练数据中较少使用的记忆槽，以稀疏参数写入降低知识覆盖。

研究问题

全量微调和 LoRA 都可能让新知识更新触碰大量承载旧能力的参数。

方法机制

在 memory-layer 模型中用类似 TF-IDF 的相对激活分数选择 memory slots，只对少量目标槽执行微调。

证据与实验

在问答实验中，新知识学习相当时，论文摘要报告旧能力 F1 降幅约为：全量微调 89%、LoRA 71%、稀疏记忆微调 11%。

16

SCALE: Scalable Continual Learning via Model Expansion

模型扩展 / 路由

发表：2026 · Findings of ACL

+

一句话结论

SCALE 冻结原模型并按需扩展宽度，通过 Preserve、Adapt、Route 三个环节分配新容量。

研究问题

固定参数更新会干扰旧知识，而每任务独立模块造成无界增长和任务 ID 依赖。

方法机制

主干负责 Preserve；新增宽度负责 Adapt；学习到的路由机制决定输入如何组合旧表示和新容量。

证据与实验

实验把扩展式持续学习与 replay、PEFT 和固定容量方法比较，显示可在保持旧能力的同时提高新任务可塑性。

17

TRACE: A Comprehensive Benchmark for Continual Learning in Large Language Models

持续指令微调 / 基准

发表：2023 · arXiv

+

一句话结论

TRACE 把持续指令微调放到多种生成与推理任务序列中，并同时测试新任务学习、旧任务保持和通用能力。

研究问题

传统分类 benchmark 不能代表 LLM 指令跟随、推理和开放式生成中的遗忘。

方法机制

构造 8 类任务的顺序学习协议，配套 LIMA replay 数据和 EWC、GEM、MbPA++、L2P、LFPT5、O-LoRA 等基线。

证据与实验

基准显示朴素顺序微调显著遗忘，经典 CL 方法在 LLM 生成任务上并不稳定；最终平均分必须和后向迁移、通用能力一起看。

18

Orthogonal Subspace Learning for Language Model Continual Learning

PEFT / 子空间隔离

发表：2023 · Findings of EMNLP

+

一句话结论

O-LoRA 为每个任务学习低秩更新，并约束新任务子空间与历史子空间正交，以减少参数更新干扰。

研究问题

普通 LoRA 虽参数高效，但不同阶段的低秩方向仍会重叠并覆盖旧任务。

方法机制

在训练新 LoRA 时加入与既有低秩子空间的正交约束，冻结旧模块、无需重放旧数据。

证据与实验

在持续指令与分类任务上，O-LoRA 通常优于顺序 LoRA 和多种无重放基线，展示子空间隔离的有效性。

19

ConPET: Continual Parameter-Efficient Tuning for Large Language Models

PEFT + replay/路由

发表：2023 · arXiv

+

一句话结论

ConPET 用参数高效模块构建静态重放与动态路由两种持续学习方案，在效率和任务扩展之间取舍。

研究问题

为每个任务全量微调成本过高，而单一小模块会发生干扰；实际系统还可能无法在推理时获得任务 ID。

方法机制

Static ConPET 将 PET 与动态 replay 结合；Dynamic ConPET 保存多个 PET 模块并训练选择器按输入路由。

证据与实验

论文报告可训练参数最多减少约 3000 倍，并在较小 benchmark 上取得至少约 5 个点提升，说明路由/重放组合具有较高性价比。

20

InsCL: A Data-efficient Continual Learning Paradigm for Fine-tuning Large Language Models with Instructions

数据高效 replay / 指令微调

发表：2024 · NAACL

+

一句话结论

InsCL 用指令层面的表示与样本组织提高持续微调的数据效率，尽量用少量历史信息保持旧任务。

研究问题

LLM 指令任务的数据格式和语义跨度大，随机 replay 往往冗余且无法代表旧任务边界。

方法机制

利用 instruction 信息指导样本选择和持续训练，使有限缓存覆盖更有代表性的任务语义。

证据与实验

在多任务顺序指令设置中，方法相对朴素微调和常见 replay 提高最终平均表现并降低遗忘。

21

SAPT: A Shared Attention Framework for Continual Learning of Large Language Models

共享注意力 / PEFT 路由

发表：2024 · ACL

+

一句话结论

SAPT 以共享注意力同时服务参数高效学习和模块选择，让任务知识共享与输入路由相互协调。

研究问题

多模块 PEFT 方法常把“学什么”和“选哪个模块”分开优化，造成选择器与任务表示错位。

方法机制

共享 attention 表示用于对齐任务学习与选择，配合小型参数模块在不同阶段保留专门能力。

证据与实验

在 T5/LLaMA2 的 770M 到 13B 尺度实验中，方法跨多个持续任务序列改善平均性能和遗忘。

22

Revisiting Catastrophic Forgetting in Large Language Model Tuning

实证诊断 / 持续微调

发表：2024 · Findings of EMNLP

+

一句话结论

重新审视 LLM 微调中的遗忘来源，强调任务语义、训练配方和评价方式会改变“遗忘严重”的结论。

研究问题

把下游分数下降一概归因于参数知识被抹除，可能混淆提示格式、输出偏好与真实能力丢失。

方法机制

通过不同模型、任务顺序、微调设置和能力测试，对遗忘现象做受控比较与细粒度诊断。

证据与实验

实验显示遗忘具有明显异质性：不同任务/能力、模型尺度与训练阶段的变化并不同步。

23

Online Continual Learning of Large Language Models

在线学习 / PEFT 选择

发表：2025 · ICML

+

一句话结论

用代表性特征分布描述每个 PEFT 模块，并按输入相似度动态选择模块，实现避免旧任务信息泄漏的在线持续学习。

研究问题

许多“在线”方法仍在后续阶段访问旧任务数据、标签或统计，形成信息泄漏与隐私风险。

方法机制

为已学习 PEFT block 保存 presentative feature distribution；新样本根据与这些分布的相似度选择/组合合适模块。

证据与实验

ICML 2025 实验表明，在不重新访问旧任务原始信息的限制下，该方法仍能保持有竞争力的持续学习表现。

24

ASO-LoRA: Adaptive Subspace Orthogonal LoRA for Continual Learning

自适应 PEFT / 子空间

发表：2026 · ACL

+

一句话结论

ASO-LoRA 根据任务归因相似度自适应决定子空间分离程度，以软正交替代 O-LoRA 的一刀切约束。

研究问题

新旧任务相似时，强制完全正交会阻断正迁移；不相似时又确实需要隔离。

方法机制

用 attribution 估计任务关系，再施加随相似度变化的 soft orthogonality，并设计无需推理任务标签的选择机制。

证据与实验

ACL 2026 实验显示其在多个任务序列上优于固定正交 LoRA，尤其能更好平衡共享与隔离。

25

WISE: Rethinking the Knowledge Memory for Lifelong Model Editing of Large Language Models

终身模型编辑 / 参数记忆

发表：2024 · NeurIPS

+

一句话结论

WISE 用主记忆、侧记忆、路由器和知识分片解决终身模型编辑中可靠性、泛化与局部性的“不可能三角”。

研究问题

直接改主模型易干扰旧知识，纯检索记忆又难把编辑泛化到改写问题。

方法机制

冻结承载预训练知识的 main memory，只写 side memory；router 决定查询走哪条路径，并把连续编辑分散到不同参数子空间后再合并。

证据与实验

在问答、幻觉修正和 OOD 场景，跨 GPT、LLaMA、Mistral 骨干比较，论文报告同时改善 reliability、generalization 与 locality。

26

MEMOIR: Lifelong Model Editing with Residual Memory

终身模型编辑 / 残差记忆

发表：2025 · NeurIPS

+

一句话结论

MEMOIR 把新知识写入稀疏残差记忆，并用样本相关激活掩码检索相关编辑，减少连续编辑之间的覆盖。

研究问题

终身编辑需要扩展到成千上万次写入，同时保持改写泛化、无关输入局部性和旧编辑可靠性。

方法机制

保留基础模型核心能力，在独立 residual memory 中学习编辑；稀疏掩码把不同样本分配到不同参数子集，推理时按激活模式匹配相关记忆。

证据与实验

在 LLaMA-3 与 Mistral 的问答、幻觉修正和 OOD 测试中，论文报告可扩展到数千次顺序编辑并保持较低遗忘。

27

LifelongAgentBench: Evaluating LLM Agents as Lifelong Learners

智能体 / 终身学习基准

发表：2025 · arXiv

+

一句话结论

在数据库、操作系统和知识图谱环境中评估跨会话经验积累，显示“保存全部历史”并不能自然带来 lifelong agent。

研究问题

现有 agent benchmark 多按独立 episode 评分，无法观察经验是否被长期保留、迁移或错误累积。

方法机制

构造连续交互任务，让 agent 跨阶段复用经验，并比较不同记忆、replay 和自一致性策略。

证据与实验

实验发现 replay 易被无关历史和上下文长度拖累；group self-consistency 等筛选策略能更稳地提炼可复用经验。

28

Continual Learning Bench: Benchmarking Continual Learning for LLM Agents

智能体 / 真实任务基准

发表：2026 · arXiv

+

一句话结论

用六类真实应用任务检验 LLM agent 的持续学习，结果提醒复杂记忆系统并不一定胜过简单的 in-context baseline。

研究问题

智能体持续学习方法常在玩具环境或短序列上验证，缺乏跨真实专业领域和长期阶段的统一比较。

方法机制

覆盖软件工程、信号处理、疾病预测、数据库、策略游戏和需求预测，比较上下文、记忆与专用持续学习系统。

证据与实验

论文报告朴素 ICL 在若干设置中超过专门记忆系统，说明记忆写入/检索噪声可能抵消所谓长期学习收益。

29

SkillLearnBench: Evaluating Continual Skill Learning in Language Agents

智能体 / 技能学习基准

发表：2026 · arXiv

+

一句话结论

SkillLearnBench 用 20 个可验证任务、15 个子领域评估 agent 是否能从反馈中持续形成和迁移技能。

研究问题

记住事实不等于获得技能；技能学习还要经历试错、反馈、抽象、组合与跨任务迁移。

方法机制

任务配有可执行 verifier，按连续顺序考察 self-feedback、external feedback 和不同技能记忆策略。

证据与实验

没有一种方法在所有设置都获胜；自反馈可能造成策略漂移，外部可验证反馈通常更可靠。

30

LifeSkill: Lifelong Skill Learning for Language Agents

智能体 / 技能内化

发表：2026 · arXiv

+

一句话结论

LifeSkill 以 verifier 引导技能提炼，再把在线成功经验内化为可复用能力，连接外部记忆与参数学习。

研究问题

只存轨迹会让上下文膨胀且检索脆弱，只改模型又昂贵并可能遗忘，需要选择性内化。

方法机制

从交互和验证反馈中学习显式技能，在线选择/修订技能，并在合适时把经验 internalize 到模型或更紧凑表示。

证据与实验

论文报告在 LifelongAgentBench 上获得约 7 个绝对百分点提升，显示 verifier-guided skill learning 的收益。

31

Nested Learning: The Illusion of Deep Learning Architecture

新范式 / 多时间尺度记忆

发表：2025 · NeurIPS

+

一句话结论

Nested Learning 把架构与优化统一看成不同更新频率的嵌套优化问题，并用 continuum memory 与 Hope 探索多时间尺度学习。

研究问题

把网络结构和外部优化器割裂，会忽略模型内部各组件本可具有不同 context flow 与更新速率。

方法机制

将反向传播、注意力和优化器解释为关联记忆；按更新频率组织层级，提出 deep optimizers、continuum memory system 和自修改 Hope 架构。

证据与实验

论文在语言建模、常识、长上下文 NIAH 与知识吸收任务中比较 Hope、Titans、Samba、Transformer 等，报告更低困惑度和更强长程记忆。

32

Self-Adapting Language Models

自适应模型 / 自编辑

发表：2025 · arXiv

+

一句话结论

SEAL 让模型生成自己的更新数据和训练指令，并用更新后性能作为强化学习奖励，形成可学习的 self-edit 策略。

研究问题

普通模型只能在上下文内适应，参数更新又依赖外部工程师准备数据与训练配方。

方法机制

模型根据输入生成 self-edit（合成数据、重写、学习目标等），执行小规模更新，再以更新后的任务表现训练 self-edit 生成策略。

证据与实验

实验展示模型能学会产生更有效的自我更新方案，在知识吸收和少样本适应任务上超过手工或无学习的更新基线。

33

Learning, Fast and Slow: Towards LLMs That Adapt Continually

快慢学习 / 在线适应

发表：2026 · arXiv

+

一句话结论

将上下文中的快速权重与模型参数中的慢速权重联合优化，用两种时间尺度兼顾即时适应和长期稳定。

研究问题

纯 in-context learning 不会永久积累，纯 RL/微调更新慢且会引起较大策略漂移。

方法机制

快速通道优化 context/fast weights，慢速通道更新 model weights，并用统一目标协调短期任务收益与长期分布约束。

证据与实验

论文报告相对仅用 RL 的方案最高约 3 倍样本效率，并将 KL 漂移最多降低约 70%。

34

Knowledge Circuits in Pretrained Transformers

机制解释 / 知识电路

发表：2025 · arXiv

+

一句话结论

追踪新知识在 Transformer 内部形成、优化并由深层向浅层重组的电路动态，为持续学习提供机制层诊断。

研究问题

只看输出分数无法解释模型在何处写入新知识、何时开始泛化，以及为何与旧知识发生干扰。

方法机制

通过知识定位、因果干预和训练轨迹分析，观察知识电路随学习阶段和已有知识相关性如何变化。

证据与实验

论文发现知识获取依赖其与先验知识的相关性，过程呈现 formation → optimization 的阶段转变，并出现 deep-to-shallow 演化。

35

Using Fast Weights to Attend to the Recent Past

快速神经状态 / 关联记忆

发表：2016 · arXiv

+

一句话结论

在激活与慢权重之间加入快速衰减的关联记忆矩阵，以近期隐藏状态外积实现序列内快速绑定。

研究问题

RNN 隐藏向量容量有限，慢权重又无法在单个序列中快速变化，缺少中间时间尺度的可塑状态。

方法机制

按 A_t=λA_{t-1}+ηh_th_t^T 写入 fast-weight matrix，并通过迭代、归一化读取；展开后等价于受时间衰减约束的点积注意。

证据与实验

关联检索任务中显著优于同规模 LSTM/IRNN，并在视觉序列与 Catch 控制任务上展示收益。

36

Learning to (Learn at Test Time): RNNs with Expressive Hidden States

测试时训练 / 模型化隐藏状态

发表：2024 · arXiv

+

一句话结论

把序列层的隐藏状态变成一个可训练模型，在每个 token 到来时用自监督目标更新其权重。

研究问题

Attention 长上下文成本二次增长，普通 RNN/SSM 的固定向量状态又难以保留复杂历史。

方法机制

TTT-Linear/MLP 以内部模型参数作为状态，执行 W_t=W_{t-1}-η∇ℓ(W;x_t)，再从更新后的模型读取输出；用 mini-batch 与 dual form 并行化。

证据与实验

125M–1.3B 实验显示 TTT 能随 8k–32k 上下文继续降低困惑度，部分线性基线在更长上下文趋于饱和。

37

Titans: Learning to Memorize at Test Time

神经长期记忆 / 测试时学习

发表：2025 · arXiv

+

一句话结论

用测试时可训练的神经网络充当长期记忆，以梯度惊奇度、动量和遗忘控制写入，并与局部注意力协同。

研究问题

Attention 保存历史精确但成本随长度增长，递推模型高效却被固定容量压缩限制。

方法机制

记忆网络根据 key 重构 value，用损失梯度表示 surprise，加入 momentum 与 weight decay；提出 MAC、MAG、MAL 三种与注意力组合方式。

证据与实验

语言、常识、S-NIAH、BABILong、时间序列和基因组任务中，MAC 在作者设置下表现最强，并报告百万级上下文结果。

38

MemOS: A Memory OS for AI System

记忆操作系统 / 生命周期治理

发表：2025 · arXiv

+

一句话结论

把参数、激活和明文三类记忆统一为可治理的一等资源，由 Memory Cube、调度器和生命周期层管理。

研究问题

LLM 记忆散落在权重、KV、向量库和日志中，缺少统一来源、权限、版本、迁移和删除协议。

方法机制

MemCube 同时携带 payload 与 provenance、owner、lifetime、priority、version 等元数据；MemScheduler/Lifecycle/Operator 执行路由、转换、冻结和回滚。

证据与实验

论文主要提供架构分类、组件设计与场景推演，没有可与算法论文同级比较的公开端到端 benchmark。

39

Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories

离线巩固 / 自生成重放

发表：2026 · arXiv

+

一句话结论

将在线服务的清醒期与离线巩固的睡眠期分开，通过 Knowledge Seeding 和 Dreaming 把快经验迁移到慢层。

研究问题

上下文经验会消失，而对每条经验即时改慢参数成本高、风险大，缺少可验证的离线维护周期。

方法机制

Knowledge Seeding 用广义蒸馏/RL 把小而快组件知识向上迁移；Dreaming 由内部专家生成合成课程并通过 ReSTEM/RL 训练。

证据与实验

报告 class-incremental、持续翻译、BABILong 和推理任务收益，包括长达 10M 的合成长程任务与约 80% held-out 成功率。

40

Organizing Memories for Generalization in Complementary Learning Systems

互补学习系统 / 泛化驱动巩固

发表：2023 · Nature Neuroscience

+

一句话结论

快速记忆向慢系统回放并非越多越好；进一步巩固开始拟合不可预测噪声时应停止，以保护未来泛化。

研究问题

无限 replay 可以降低训练误差，却会把具体样本噪声写入慢系统，损害未见数据表现。

方法机制

teacher–student–notebook 理论框架中，notebook 快速记样本、student 慢学规律；Go-CLS 在 generalization error 最优点附近停止巩固。

证据与实验

解析与模拟展示收益依赖信噪比和样本/维度比，尤其在插值与 double-descent 敏感区可明显优于无限巩固。

41

Meta-Learning Biologically Plausible Plasticity Rules with Random Feedback Pathways

元可塑性 / 学习更新规则

发表：2023 · Nature Communications

+

一句话结论

从局部候选项中元学习一个稀疏、全网络共享的可塑性规则，使固定随机反馈网络能在线学习。

研究问题

随机反馈对齐避免反向权重对称，却在深层和在线低数据学习中速度慢、性能弱。

方法机制

将 10 个局部候选项线性组合，外层跨 episode 优化共享系数并施加 L1；内层每次随机初始化、batch size 1 学习 250 个样本。

证据与实验

MNIST/EMNIST/Fashion-MNIST 等实验中，规则池显著改善随机反馈，最终主要保留伪梯度、误差 Hebbian 和 Oja 三类项。