机器学习导论（课程讲义）
这门课学什么
这是为普林斯顿机器学习入门课写的免费讲义，共 20 章。内容从线性回归和梯度下降讲到神经网络、强化学习和机器学习伦理，书末附数学基础。提供整本 PDF 和分章 PDF。
内容摘要
这份资料是普林斯顿本科机器学习导论课的配套讲义，整理成一本约 250 页的书。作者是桑吉夫·阿罗拉、陈丹琦和两位本科生助教。它不追求数学上的完备，而是用具体例子把机器学习的主要分支各走一遍。每个主题都配有 Python 代码示例。
全书分 6 部分。第 1 部分监督学习：从线性回归入手，解释“学习”在统计意义上是什么，再讲梯度下降、正则化、逻辑回归和支持向量机，最后用波士顿房价和 fMRI 数据做两个数据科学案例。第 2 部分无监督学习：k-means 聚类、低维表示（含文体分析和特征脸两个应用）、n-gram 语言模型、矩阵分解推荐系统。第 3 部分深度学习：神经网络的结构、前向传播与反向传播的手算推导、卷积神经网络。
第 4 部分强化学习：基本概念、马尔可夫决策过程（MDP）、Q-learning 和深度强化学习，用 Atari Pong 做案例。第 5 部分是进阶话题：机器学习伦理与公平性，以及词向量这类面向 NLP 的深度学习。第 6 部分是数学附录，补概率统计、微积分和线性代数，包括 SVD 与 PCA。
讲义的写法偏直观。反向传播先用一个小网络手算一遍，再推广到一般情形。强化学习用“最优吃蛋糕”这类小例子引入。伦理一章讨论真实案例，例如社交平台的自杀预防系统和算法中的种族偏见。
读完后，你能理解主流机器学习方法的原理，并能用 Python 实现线性模型、k-means、矩阵分解和小型神经网络。它适合作为第一本机器学习读物。具备单变量微积分和基础编程能力即可开始，缺的数学可以先看第 6 部分。讲义以 CC BY-NC-ND 2.0 授权，可免费下载全书或单章 PDF。
为什么值得学
讲义由学习理论学者 Arora 和 NLP 学者陈丹琦合写。篇幅紧凑，可以从头读到尾。
课程信息
- 学校
- 普林斯顿（Princeton）
- 课程号
- COS 324
- 讲师
- 桑吉夫·阿罗拉（Sanjeev Arora）、陈丹琦（Danqi Chen）
- 学期
- Fall 2022（讲义 2024 年更新）
- 平台
- 课程官网
- 费用
- 免费
- 难度
- 入门
- 学时
- 20 章
- 先修
- 需要微积分、线性代数、概率论入门和 Python。
- 材料
- 讲义、教材
- 许可证
- CC BY-NC-ND 2.0
课程大纲 · 共 20 节
大纲依据：课程讲义目录（2024 年 9 月版，6 部分 20 章）（查看原始页面 ↗）
- 1线性回归入门Linear Regression: An Introduction
用情感预测的例子引入线性回归，强调特征构造的重要性。
- 2统计学习：什么叫“学会”Statistical Learning: What It Means to Learn
解释训练误差与测试误差的关系，说明模型何时能推广到新数据。
- 3用梯度下降做优化Optimization via Gradient Descent
讲梯度下降的原理和正则化项，并给出 Python 实现。
- 4线性分类Linear Classification
讲逻辑回归、支持向量机和多分类回归。
- 5用线性回归探索数据科学Exploring “Data Science” via Linear Regression
用波士顿房价和 fMRI 脑成像两个案例，演示回归在经济学和神经科学中的用法。
- 6聚类Clustering
介绍无监督学习，讲 k-means 聚类算法及其实现。
- 7低维表示Low-Dimensional Representation
讲如何把高维数据压缩到低维，并用文体分析和特征脸做应用。
- 8n-gram 语言模型n-Gram Language Models
讲语言的概率模型、起止符号和用困惑度评估语言模型。
- 9矩阵分解与推荐系统Matrix Factorization and Recommender Systems
讲用矩阵分解从评分数据中学习用户和物品的隐向量。
- 10深度学习导论Introduction to Deep Learning
回顾神经网络历史，讲网络结构和深度带来的表达能力。
- 11前馈神经网络与反向传播Feedforward Neural Network and Backpropagation
先用小例子手算前向和反向传播，再推广到一般情形并给出代码。
- 12卷积神经网络Convolutional Neural Network
讲卷积运算、卷积在视觉中的作用和卷积层的反向传播。
- 13强化学习导论Introduction to Reinforcement Learning
讲智能体、环境、奖励的基本框架，并介绍 MuJoCo 仿真环境。
- 14马尔可夫决策过程Markov Decision Process
讲 MDP、策略、回报和最优策略的求解。
- 15未知环境中的强化学习Reinforcement Learning in Unknown Environments
讲无模型方法和 Q-learning，用 Atari Pong 做案例，并介绍深度强化学习。
- 16机器学习与伦理Machine Learning and Ethics
通过真实案例讨论算法偏见、公平性的不同定义和机器学习范式的局限。
- 17面向自然语言处理的深度学习Deep Learning for Natural Language Processing
讲词向量，并用神经网络重新审视 n-gram 语言模型。
- 18概率与统计Probability and Statistics
补充随机变量、中心极限定理和置信区间。
- 19微积分Calculus
补充单变量和多变量微积分，重点是梯度。
- 20线性代数Linear Algebra
补充向量与矩阵运算，以及 SVD 和 PCA 的计算步骤。