以数据为中心的 AI 导论
这门课学什么
这门短课讲怎样通过改进数据来改进模型。内容包括用置信学习找标注错误、处理类别不平衡、离群点和分布偏移、数据集整理、评估方法和大模型的数据处理。每讲有讲义和一个 Jupyter 实验。
内容摘要
这门短课的主张是：想提升模型效果，改进数据常常比改进模型更有效。课程把改进数据当作一门系统的工程方法来教，不靠经验和反复试错。内容聚焦监督学习中的分类任务。
2024 年版共 7 讲，在 MIT 1 月的寒假学期（IAP）内 2 周讲完。第 1 讲对比以数据为中心和以模型为中心两种思路。第 2–3 讲是核心：用置信学习自动找出标错的样本，并扩展到大模型和生成式 AI。第 4–6 讲处理数据中的其他问题：类别不平衡、离群点、分布偏移、多人标注的整合，以及找出模型表现差的子人群。第 7 讲讲大模型训练数据的整理。
官网还保留 2023 年的 4 讲专题：主动学习与核心集选择、可解释特征、数据增强与提示工程、数据隐私与成员推断攻击。每年的内容自成一体，官方建议优先学最新一年。
每讲配 1 个 Jupyter 实验，用 Python 动手实现当讲的方法。这是不计学分的课，不需要交作业。学完后，你能在自己的数据集里找出标注错误、离群点和分布偏移，并用系统的方法整理数据。
3 位讲师都是 cleanlab 开源库的作者，课上的很多方法来自他们自己的研究。讲课偏实用，少讲数学细节。
为什么值得学
多数机器学习课把数据当成固定的。这门课教实际工作中最常用的数据侧技能，讲师是 cleanlab 开源库的作者。
课程信息
- 学校
- 麻省理工（MIT）
- 讲师
- Anish Athalye、Curtis Northcutt、Jonas Mueller
- 学期
- IAP 2024
- 平台
- 课程官网
- 费用
- 免费
- 难度
- 中级
- 学时
- 7 讲 + 7 个实验（另有 2023 年 4 讲专题）
- 先修
- 学过机器学习入门，会 Python。
- 材料
- 视频、讲义、代码
- 许可证
- CC BY-NC-SA
课程大纲 · 共 11 节
大纲依据：IAP 2024 课程官网 Syllabus（另附 2023 年专题讲）（查看原始页面 ↗）
- 1以数据为中心与以模型为中心Data-Centric AI vs. Model-Centric AI
对比两种提升模型的思路，并用正例–无标注学习（PU learning）作为入门例子。
- 2标注错误与置信学习Label Errors and Confident Learning
讲置信学习怎样估计标注噪声的分布，并找出数据集中标错的样本。
- 3置信学习进阶及其在大模型与生成式 AI 中的应用Advanced Confident Learning, LLM and GenAI applications
把置信学习扩展到更复杂的场景，并用于大模型和生成式 AI 的数据。
- 4类别不平衡、离群点与分布偏移Class Imbalance, Outliers, and Distribution Shift
讲不平衡数据的评估指标和训练方法、离群点检测，以及协变量偏移、概念偏移和标签偏移。
- 5数据集的创建与整理Dataset Creation and Curation
讲采集数据时的选择偏差、需要多少数据，以及怎样合并多名标注员的标注结果。
- 6以数据为中心的模型评估Data-centric Evaluation of ML Models
讲怎样找出模型表现差的子人群，以及怎样量化单个样本对模型的影响。
- 7大语言模型的数据整理Data Curation for LLMs
讲训练和微调大语言模型时怎样筛选和清洗数据。
- 2023-1扩充或压缩数据集Growing or Compressing Datasets
讲用主动学习挑选最值得标注的样本，以及用核心集选择缩小数据集。
- 2023-2以数据为中心的可解释性Interpretability in Data-Centric ML
讲怎样构造人能理解的特征，让模型更容易解释。
- 2023-3编码人类先验：数据增强与提示工程Encoding Human Priors: Data Augmentation and Prompt Engineering
讲用数据增强把人的知识加进训练数据，以及在测试时用提示引导大模型。
- 2023-4数据隐私与安全Data Privacy and Security
讲成员推断攻击：攻击者怎样判断某条数据是否在模型的训练集中。