机器学习导论
这门课学什么
这是 MIT 本科机器学习核心课。内容包括线性分类、回归、梯度下降、神经网络、CNN、RNN、聚类和强化学习入门。全部材料放在 MIT Open Learning Library，有讲义、练习、实验和作业。
内容摘要
这门课是 MIT 本科机器学习核心课。它从“建模与预测”的角度讲机器学习：先把学习问题写成明确的目标，再讨论表示、过拟合和泛化。全课 13 周，每周一个主题，配有讲义、练习、实验和作业。
课程分 4 个阶段。第 1 阶段（第 1–4 周）讲线性分类：从线性分类器和感知机算法开始，讲特征表示，再讲逻辑回归和梯度下降。第 2 阶段（第 5–8 周）讲回归和神经网络：先讲线性回归和正则化，再讲多层网络、训练技巧和卷积神经网络。第 3 阶段（第 9–11 周）讲序列与决策：状态机、马尔可夫决策过程、强化学习和循环神经网络。第 4 阶段（第 12–13 周）补充推荐系统、决策树和最近邻。
每周有在线练习，大部分周有实验（lab）和作业。题目要求用 Python 和 numpy 自己实现算法，例如感知机、梯度下降和小型神经网络，而不是直接调用现成库。练习和作业在线自动判分。
学完后，你能把一个实际问题写成监督学习或强化学习问题，能手写主流基础算法，也能判断模型是欠拟合还是过拟合。这门课的讲义篇幅短、推导清楚，适合作为深度学习之前的系统入门。
讲课风格偏工程：概念先给直观图像，再给公式，再落到代码。课程在 Open Learning Library 上可以匿名浏览，不需要注册。
为什么值得学
多数 MIT 本科生用这门课入门机器学习。在线练习会即时判分，适合自学。
课程信息
- 学校
- 麻省理工（MIT）
- 课程号
- 6.036
- 讲师
- 莱斯莉·凯尔布林（Leslie Kaelbling）、托马斯·洛萨诺-佩雷斯（Tomás Lozano-Pérez）、Isaac Chuang、杜安·博宁（Duane Boning）
- 学期
- Fall 2020
- 平台
- MIT OpenCourseWare
- 费用
- 免费
- 难度
- 入门
- 先修
- 会 Python，学过线性代数和多元微积分。
- 材料
- 讲义、作业、代码
- 许可证
- CC BY-NC-SA 4.0
课程大纲 · 共 13 节
大纲依据：MIT Open Learning Library 课程目录（13 周）（查看原始页面 ↗）
- 1第 1 周：基础Week 1: Basics
说明机器学习要解决的问题类型，引入线性分类器和训练误差。
- 2第 2 周：感知机Week 2: Perceptrons
讲感知机算法的更新规则，以及它在线性可分数据上的收敛性。
- 3第 3 周：特征Week 3: Features
讲怎样把原始数据转成特征，包括多项式特征和类别变量的编码。
- 4第 4 周：间隔最大化Week 4: Margin Maximization
引入逻辑回归和损失函数，用梯度下降求解，并讨论间隔与正则化。
- 5第 5 周：回归Week 5: Regression
讲线性回归的解析解与梯度解法，以及岭回归怎样控制过拟合。
- 6第 6 周：神经网络（一）Week 6: Neural Networks I
讲多层网络的结构、激活函数和反向传播（backpropagation）。
- 7第 7 周：神经网络（二）Week 7: Neural Networks II
讲让神经网络训练得动的技巧，例如学习率调整、正则化和初始化。
- 8第 8 周：卷积神经网络Week 8: Convolutional Neural Networks
讲卷积和池化怎样利用图像的局部结构，减少参数数量。
- 9第 9 周：状态机与马尔可夫决策过程Week 9: State Machines and Markov Decision Processes
用状态机描述序列模型，再引入马尔可夫决策过程和价值迭代。
- 10第 10 周：强化学习Week 10: Reinforcement Learning
讲在模型未知时怎样通过试错学习策略，重点是 Q 学习。
- 11第 11 周：循环神经网络Week 11: Recurrent Neural Networks
讲循环神经网络怎样处理序列输入，以及随时间反向传播。
- 12第 12 周：推荐系统Week 12: Recommender Systems
用矩阵分解做协同过滤，从用户评分中预测偏好。
- 13第 13 周：决策树与最近邻Week 13: Decision Trees and Nearest Neighbors
讲两种非参数方法：按特征切分的决策树和基于距离的最近邻。