大模型持续学习：网页、帖子与播客
本目录保存公开网页和播客的中文阅读/收听笔记、原始链接与建议切入点。出于版权和平台条款考虑，不复制完整网页或音频；每个文件都保留官方播放/阅读入口。
网页与教程
| 资料 | 类型 | 重点 |
|---|---|---|
| Apple TiC-LM | 研究博客 | 114 期 Common Crawl、时间持续预训练、2.6× 计算节省 |
| Google Nested Learning | 研究博客 | 嵌套优化、多时间尺度记忆、Hope |
| Red Hat Sculpting Subspaces | 工程长文 | adaptive SVD、未使用参数子空间、TRACE 实验 |
| EMNLP 2025 Tutorial | 教程页 | CPT → 指令微调 → 对齐 → lifelong agents |
播客
| 资料 | 时长 | 重点 |
|---|---|---|
| Rob Toews：Catastrophic Forgetting | 30 分钟 | 商业与技术视角下的持续学习 |
| Patrick Pilarski：The Alberta Plan | 约 51 分钟 | 经验驱动、实时强化学习、长期智能体 |
| Sparse Memory Finetuning | 14 分钟 | 稀疏记忆槽更新与遗忘控制 |
推荐顺序
- 先听 Rob Toews 建立问题直觉。
- 读 Apple 与 Red Hat，分别理解数据/优化路线和参数子空间路线。
- 读 Google Nested Learning，再听 Alberta Plan，把研究视角扩展到多时间尺度、自适应智能体。
- 最后用 EMNLP 教程页检查知识结构是否覆盖完整。