统计学习(Python 版)
这门课学什么
课程按免费教材《统计学习导论》(ISL)讲回归、分类、重采样、正则化、树模型、支持向量机、深度学习和生存分析。每章配 Python 实验。
内容摘要
这门课由 Trevor Hastie 和 Robert Tibshirani 主讲,按他们合著的《统计学习导论》(ISL)Python 版逐章展开。2023 年第 3 版加入合著者 Jonathan Taylor,所有实验从 R 换成 Python。公开播放列表共 108 段短视频,其中 32 段是 Python 实验。
课程沿 ISL 的 13 章推进,主线是“先简单模型,再灵活模型”。前段讲统计学习框架、线性回归、分类和重采样,重点是偏差-方差权衡和怎样估计测试误差。中段讲模型选择与正则化、非线性方法、树模型和支持向量机。后段扩展到深度学习、生存分析、无监督学习和多重检验。
每章分两类视频。两位作者用幻灯片讲概念和例子。Jonathan Taylor 在 Jupyter 里演示 Python 实验,用到 statsmodels、scikit-learn 和教材配套的 ISLP 包。edX 版另有每章测验。教材 PDF 和实验代码可以在 statlearning.com 免费下载。
学完后,你能为一个预测问题选择模型,用交叉验证评估效果,并读懂输出结果的统计含义。课程侧重直觉和应用,数学推导少,适合有基础统计知识的初学者。想深入理论的人可以接着读两位作者的《统计学习基础》(ESL)。
为什么值得学
两位主讲人是 ISL 和《统计学习基础》的作者,Tibshirani 提出了 Lasso。教材 PDF 可在 statlearning.com 免费下载。
课程信息
- 学校
- 斯坦福(Stanford)
- 讲师
- Trevor Hastie、Robert Tibshirani
- 学期
- self-paced
- 平台
- edX
- 费用
- 免费旁听
- 难度
- 入门
- 学时
- 11 周 × 每周 3–5 小时
- 先修
- 需要基础统计学和 Python。
- 材料
- 视频、教材、作业、代码
- 许可证
- 未注明
课程大纲 · 共 13 节
大纲依据:YouTube 播放列表 108 段视频,按教材章节合并为 13 条,no 为章号;章节名对照 edX 课程页的主题列表(查看原始页面 ↗)
- 1导论Introduction
两位作者介绍课程和各版变化。用实际例子说明统计学习要解决的问题和基本框架。
- 2统计学习概述Overview of Statistical Learning
讲回归模型、维数与结构化模型、模型选择和偏差-方差权衡,以及分类问题。Python 实验讲环境配置、数组、绘图和数据框。
- 3线性回归Linear Regression
讲简单和多元线性回归、假设检验与置信区间。再讲交互项和定性预测变量,实验用 statsmodels。
- 4分类Classification
讲逻辑回归、线性和二次判别分析、朴素贝叶斯和广义线性模型。实验比较逻辑回归、LDA 和 K 近邻。
- 5重采样方法Resampling Methods
讲 K 折交叉验证,以及交叉验证的正确用法和错误用法。再讲自助法(bootstrap)。
- 6线性模型选择与正则化Linear Model Selection and Regularization
讲最优子集与逐步选择、岭回归和 Lasso,以及调参。最后讲主成分回归和偏最小二乘。
- 7超越线性Moving Beyond Linearity
讲多项式与阶梯函数、样条和平滑样条。再讲局部回归和广义可加模型(GAM)。
- 8树模型Tree-Based Methods
讲回归树和分类树。再讲 bagging、boosting 和贝叶斯加性回归树(BART)。
- 9支持向量机Support Vector Machines
讲最优分离超平面、支持向量分类器和特征扩展。与逻辑回归对比,实验加入 ROC 曲线。
- 10深度学习Deep Learning
讲神经网络、卷积网络、文档分类、循环网络和时间序列预测。最后讲网络拟合与双下降现象,实验用 MNIST 和 CIFAR 数据。
- 11生存分析Survival Analysis
讲删失数据和比例风险模型。讲 Cox 模型的估计与评估,实验用脑癌数据和论文发表数据。
- 12无监督学习Unsupervised Learning
讲主成分分析、K-means 和层次聚类。再讲矩阵补全,并用 NCI60 基因数据演示。
- 13多重检验Multiple Testing
讲控制族错误率的 Bonferroni 和 Holm 方法。再讲错误发现率、Benjamini–Hochberg 方法和重采样检验。
斯坦福的其他AI课
- 机器学习 · Machine Learning
- 深度学习 · Deep Learning
- 面向计算机视觉的深度学习 · Deep Learning for Computer Vision
- 基于深度学习的自然语言处理 · Natural Language Processing with Deep Learning
- 图机器学习 · Machine Learning with Graphs
- 人工智能:原理与技术 · Artificial Intelligence: Principles and Techniques