机器学习
这门课学什么
这是研究生机器学习课，偏统计视角。内容包括回归、分类、SVM、核方法、Boosting、混合模型、EM、隐马尔可夫模型和图模型。课程只有讲义，另有作业和考试及答案。
内容摘要
这门课是 MIT 研究生机器学习课，从统计推断的角度讲机器学习。主线是：先用线性模型建立分类和回归的基本框架，再讲怎样控制模型复杂度，最后进入概率模型和图模型。全课 24 讲，没有视频，靠讲义推进。
课程分 4 个阶段。第 1 阶段（第 1–8 讲）讲线性方法：感知机、最大间隔分类、逻辑回归、线性回归、核方法和支持向量机。第 2 阶段（第 9–14 讲）讲模型选择与集成：模型选择准则、描述长度、特征选择、Boosting 以及间隔与泛化的关系。第 3 阶段（第 14–18 讲）讲无监督学习：混合模型、EM 算法和聚类。第 4 阶段（第 18–24 讲）讲序列与结构：马尔可夫模型、隐马尔可夫模型、贝叶斯网络和概率推理。
全学期有 5 次习题集，题目既有理论推导，也有编程应用。另有期中、期末考试和一个课程项目。项目可以是文献综述、理论分析或应用研究，要求写 4 页报告。OCW 提供了习题和考试的答案。
学完后，你能用统一的统计语言理解分类、回归、聚类和序列模型，能推导支持向量机、EM 和隐马尔可夫模型的关键步骤，也能判断模型复杂度和泛化的关系。
Jaakkola 的讲义短而严谨，推导完整。课程要求有概率、线性代数和微积分基础。它适合在入门课之后，想补齐机器学习数学基础的人。
为什么值得学
Jaakkola 的讲义严谨紧凑。它讲清楚了现代机器学习依赖的概率基础。
课程信息
- 学校
- 麻省理工（MIT）
- 课程号
- 6.867
- 讲师
- 托米·亚科拉（Tommi Jaakkola）、Rohit Singh、Ali Mohammad
- 学期
- Fall 2006
- 平台
- MIT OpenCourseWare
- 费用
- 免费
- 难度
- 高级
- 先修
- 学过概率、线性代数和多元微积分。
- 材料
- 讲义、作业、考试
- 许可证
- CC BY-NC-SA 4.0
课程大纲 · 共 24 节
大纲依据：Fall 2006 OCW 讲义列表（24 讲）（查看原始页面 ↗）
- 1导论、线性分类与感知机更新规则Introduction, linear classification, perceptron update rule
介绍监督学习的设定，用感知机算法训练线性分类器。
- 2感知机收敛性与泛化Perceptron convergence, generalization
证明感知机在线性可分数据上会收敛，并讨论训练误差与泛化误差。
- 3最大间隔分类Maximum margin classification
把分类写成最大化间隔的优化问题，为支持向量机打基础。
- 4分类误差、正则化与逻辑回归Classification errors, regularization, logistic regression
引入允许出错的软间隔和正则化，再从概率角度推导逻辑回归。
- 5线性回归、估计量的偏差与方差、主动学习Linear regression, estimator bias and variance, active learning
讲线性回归的最小二乘解，分析估计的偏差和方差，并引出主动选样本。
- 6主动学习（续）、非线性预测与核Active learning (cont.), non-linear predictions, kernels
完成主动学习的讨论，再用特征映射把线性模型扩展到非线性。
- 7核回归与核函数Kernel regression, kernels
把回归写成核形式，讨论哪些函数可以作为合法的核。
- 8支持向量机、核与核优化Support vector machine (SVM) and kernels, kernel optimization
推导支持向量机的对偶形式，并讨论怎样选择和优化核。
- 9模型选择Model selection
讲怎样在不同复杂度的模型之间选择，包括交叉验证。
- 10模型选择准则Model selection criteria
比较几种模型选择准则的思路和适用条件。
- 11描述长度与特征选择Description length, feature selection
用最小描述长度看模型选择，再讲怎样挑选有用的特征。
- 12组合分类器与 BoostingCombining classifiers, boosting
讲怎样把多个弱分类器组合起来，推导 AdaBoost 算法。
- 13Boosting、间隔与复杂度Boosting, margin, and complexity
分析 Boosting 为什么不容易过拟合，把它和间隔联系起来。
- 14间隔与泛化、混合模型Margin and generalization, mixture models
总结间隔对泛化的作用，然后转入用混合模型描述数据分布。
- 15混合模型与 EM 算法Mixtures and the expectation maximization (EM) algorithm
推导期望最大化（EM）算法，用来估计含隐变量的混合模型。
- 16EM、正则化与聚类EM, regularization, clustering
讨论 EM 的性质和正则化，并把混合模型用于聚类。
- 17聚类Clustering
讲 k 均值聚类，并比较不同的聚类目标。
- 18谱聚类与马尔可夫模型Spectral clustering, Markov models
用图的特征向量做谱聚类，再引入描述序列的马尔可夫模型。
- 19隐马尔可夫模型Hidden Markov models (HMMs)
定义隐马尔可夫模型，讲前向后向算法怎样计算序列概率。
- 20隐马尔可夫模型（续）HMMs (cont.)
讲维特比解码和用 EM 估计隐马尔可夫模型参数。
- 21贝叶斯网络Bayesian networks
用有向图表示变量之间的条件独立关系。
- 22学习贝叶斯网络Learning Bayesian networks
讲怎样从数据中估计贝叶斯网络的参数和结构。
- 23概率推理；嘉宾讲座：协同过滤Probabilistic inference; guest lecture on collaborative filtering
讲在图模型上计算边缘概率的方法，嘉宾介绍推荐系统中的协同过滤。
- 24机器学习的当前问题与总结Current problems in machine learning, wrap up
回顾全课内容，讨论当时机器学习的开放问题。