EMNLP 2025 Tutorial:Continual Learning of Large Language Models
- 教程页:ACL Anthology
- 教程摘要 PDF:
../../papers/01-surveys-foundations/03-emnlp-2025-tutorial.pdf - 作者:Tongtong Wu、Trang Vu、Linhao Luo、Gholamreza Haffari
教程框架
教程把大模型持续学习组织为一条生命周期链:
- Continual pre-training:持续吸收新语料和时间知识;
- Continual instruction tuning:顺序学习任务与指令;
- Continual alignment:用户偏好和安全约束随时间变化;
- Lifelong LLM agents:自主反思、工具增强、跨会话适应。
它还强调算法之外的计算、数据管线、评价、伦理和可靠性问题。两页论文只是教程摘要,不包含完整方法细节,最适合作为查漏补缺的课程目录。
建议用法
- 每学完一条方法,标注它属于上述哪个阶段;
- 记录是否需要旧数据、任务 ID、参数更新或外部记忆;
- 把安全与对齐评价放进每个更新阶段,而不是最后补测;
- 对 lifelong agents 区分“检索历史”与“真正形成新能力”。