深度多任务学习与元学习
这门课学什么
课程讲模型怎样在多个任务间共享知识、怎样快速适应新任务。内容包括多任务学习、迁移与微调、元学习、小样本学习、无监督预训练和领域自适应。
内容摘要
这门课回答一个问题：模型怎样利用多个任务之间的共同结构，学得更快、更好。主讲人 Chelsea Finn 提出了 MAML 算法。公开录像来自 2022 年秋季，共 17 讲。课程官网目前展示 2023 年秋季版，讲次主题与 2022 版一一对应。
课程分 4 个阶段。第 1 阶段讲多任务学习和迁移学习，包括预训练加微调。第 2 阶段是元学习（meta-learning）的主体：黑盒元学习、基于优化的元学习和非参数小样本学习。第 3 阶段讲无监督预训练怎样服务小样本学习，包括对比学习和生成式预训练；同时讲任务构造、大规模元优化、变分推断和贝叶斯元学习。第 4 阶段讲分布变化下的迁移：领域自适应、领域泛化和终身学习，最后讨论开放问题。
成绩一半来自作业，一半来自研究型课程项目。作业与讲课进度对应，要求用 PyTorch 实现讲过的算法；2023 版有 1 次热身作业、3 次正式作业和 1 次可选作业。项目 1–3 人一组，学期末做海报展示。
学完后，你能读懂并复现多任务学习和元学习方向的主流论文。面对一个小样本问题，你能判断该用微调、元学习还是预训练表示。讲课风格偏研究：每讲配 1–2 篇代表论文，重点讲方法动机和对比实验。学习前需要 CS229 水平的机器学习基础和 PyTorch。
为什么值得学
主讲人 Chelsea Finn 提出了 MAML 算法。元学习部分由方法的原作者讲授。
课程信息
- 学校
- 斯坦福（Stanford）
- 课程号
- CS330
- 讲师
- Chelsea Finn
- 学期
- Autumn 2022 (YouTube)
- 平台
- 课程官网
- 费用
- 免费
- 难度
- 高级
- 先修
- 需要 CS229 或同等水平的机器学习基础和 PyTorch。
- 材料
- 视频、幻灯片、作业
- 许可证
- 未注明
课程大纲 · 共 17 节
大纲依据：Fall 2022 YouTube 播放列表（17 讲），并对照 cs330.stanford.edu 上的 Fall 2023 课程表（查看原始页面 ↗）
- 1什么是多任务学习What is Multi-Task Learning?
课程介绍。说明为什么要研究多任务和元学习，并给出“任务”的形式化定义。
- 2多任务学习基础Multi-Task Learning Basics
讲多任务模型怎样共享参数、怎样给各任务的损失加权。讨论任务之间互相拖累的负迁移问题。
- 3迁移学习与元学习Transfer Learning, Meta Learning
讲预训练加微调的迁移方法。引出元学习问题的定义。
- 4黑盒元学习Black-Box Meta-Learning
用一个神经网络读入少量样本，直接输出对新样本的预测。讨论这类方法的表达能力和训练难度。
- 5基于优化的元学习Optimization-Based Meta-Learning
讲 MAML 的思路：学习一组初始参数，使模型几步梯度下降就能适应新任务。
- 6非参数小样本学习Non-Parametric Few-Shot Learning
用度量学习做小样本分类。代表方法是匹配网络和原型网络。
- 7无监督预训练：对比学习Unsupervised Pre-Training: Contrastive Learning
讲不用标签学习表示的对比学习方法。再把学到的表示迁移到小样本任务。
- 8面向小样本学习的无监督预训练Unsupervised Pre-Training for Few-Shot Learning
讲掩码建模这类生成式预训练方法。分析它们怎样支持下游的小样本学习。
- 9元学习进阶：任务构造Advanced Meta-Learning Topics: Task Construction
讨论元学习模型只记答案、不学适应的“记忆化”问题。讲怎样从无标签数据自动构造训练任务。
- 10元学习进阶：大规模元优化Advanced Meta-Learning 2: Large-Scale Meta-Optimization
讲内循环步数很多时怎样计算元梯度。介绍学习优化器这类大规模元优化问题。
- 11变分推断与生成模型Variational Inference and Generative Models
讲变分推断和变分自编码器的基本方法。为下一讲的贝叶斯元学习做准备。
- 12贝叶斯元学习Bayesian Meta-Learning
在元学习中表示不确定性。让模型在样本很少时给出带置信度的预测。
- 13领域自适应Domain Adaptation
训练和测试分布不同时，利用目标领域的无标签数据调整模型。
- 14领域泛化Domain Generalization
没有目标领域数据时，训练出对未见过的领域也稳健的模型。
- 15终身学习Lifelong Learning
按顺序学习一串任务。讲怎样避免灾难性遗忘并持续积累知识。
- 16前沿与开放问题Frontiers and Open Challenges
总结全课内容。讨论多任务学习和元学习尚未解决的问题。
- 17客座讲座：Percy LiangGuest Lecture: Percy Liang
客座讲座。主讲人 Percy Liang 是斯坦福基础模型研究中心主任。
斯坦福的其他AI课
- 机器学习 · Machine Learning
- 深度学习 · Deep Learning
- 面向计算机视觉的深度学习 · Deep Learning for Computer Vision
- 基于深度学习的自然语言处理 · Natural Language Processing with Deep Learning
- 图机器学习 · Machine Learning with Graphs
- 人工智能：原理与技术 · Artificial Intelligence: Principles and Techniques