概率图模型专项课程
这门课学什么
3 门课讲贝叶斯网络和马尔可夫网络：表示、精确推断与近似推断、参数学习与结构学习。课程有编程作业和测验。
内容摘要
这套专项课程源自 Daphne Koller 在斯坦福开的 CS228，是 Coursera 最早的一批课程之一。概率图模型（probabilistic graphical models）用图表示多个随机变量之间的依赖关系，把复杂的联合分布拆成局部因子。3 门课依次讲表示、推断和学习，这也是 Koller 与 Friedman 合著教材的结构。
第 1 门课讲怎样建模。先讲有向的贝叶斯网络和条件独立性，再讲动态贝叶斯网络、隐马尔可夫模型和板模型这类模板模型，然后讲无向的马尔可夫网络和条件随机场，最后用期望效用做决策分析。第 2 门课讲怎样回答查询。精确推断用变量消元和团树上的信念传播，近似推断用环状信念传播和 MCMC 采样，另讲 MAP 推断与对偶分解。
第 3 门课讲怎样从数据得到模型。先估计参数，再学习图结构，最后用 EM 算法处理缺失数据和潜变量。课程配有测验和编程作业，编程作业用 Octave/MATLAB 完成，例如用贝叶斯网络为基因遗传建模。
学完后，你能为带不确定性的问题设计图模型，并判断该用哪种推断算法和学习算法。讲课风格严谨，定义和推导多，节奏比一般 MOOC 快。Coursera 估计 3 门课共需约 4 个月、每周 10 小时。学习前需要扎实的概率论基础。
为什么值得学
主讲人 Daphne Koller 是 Coursera 联合创始人，也是概率图模型标准教材的作者。这是讲结构化概率推理最深入的 MOOC。
课程信息
- 学校
- 斯坦福（Stanford）
- 课程号
- CS228
- 讲师
- Daphne Koller
- 学期
- self-paced
- 平台
- Coursera
- 费用
- 免费旁听
- 难度
- 高级
- 学时
- 3 门课，约 4 个月 × 每周 10 小时
- 先修
- 需要概率论基础和编程能力。
- 材料
- 视频、作业、考试
- 许可证
- 未注明
课程大纲 · 共 22 节
大纲依据：Coursera 专项课程 3 门子课程的模块列表（共 22 个模块）；no 写作“子课程.模块”（查看原始页面 ↗）
- 1.1课 1：导论与概述Probabilistic Graphical Models 1: Representation — Introduction and Overview
讲课程动机，复习概率分布。引入因子（factor）这一基本运算对象。
- 1.2贝叶斯网络（有向模型）Bayesian Network (Directed Models)
讲贝叶斯网络的语义与分解、推理模式和条件独立性，以医疗诊断为应用案例。附 Octave 编程入门。
- 1.3贝叶斯网络的模板模型Template Models for Bayesian Networks
讲动态贝叶斯网络、隐马尔可夫模型和板模型。它们用来表示随时间或随对象重复的结构。
- 1.4结构化条件概率分布Structured CPDs for Bayesian Networks
讲树状条件概率分布和因果独立模型。再讲怎样处理连续变量。
- 1.5马尔可夫网络（无向模型）Markov Networks (Undirected Models)
讲成对马尔可夫网络、吉布斯分布和条件随机场。再讲无向图的独立性、I-map 和对数线性模型。
- 1.6决策Decision Making
讲最大期望效用原则和效用函数。计算完美信息的价值。
- 1.7知识工程与总结Knowledge Engineering & Summary
讲在实际问题中怎样选择模型类型和建模方式。
- 2.1课 2：推断概述Probabilistic Graphical Models 2: Inference — Inference Overview
介绍两类推断问题：条件概率查询和 MAP 推断。
- 2.2变量消元Variable Elimination
讲变量消元算法和它的复杂度。从图的角度分析，并讲怎样选择消元顺序。
- 2.3信念传播Belief Propagation Algorithms
讲簇图上的消息传递，以及团树算法的正确性和计算。再讲环状信念传播在信道解码中的应用。
- 2.4MAP 算法MAP Algorithms
讲最大和消息传递和可高效求解的 MAP 问题。介绍对偶分解的思路和算法。
- 2.5采样方法Sampling Methods
讲简单采样和马尔可夫链蒙特卡洛（MCMC）。重点讲吉布斯采样和 Metropolis-Hastings 算法。
- 2.6时序模型中的推断Inference in Temporal Models
讲怎样在动态模型中跟踪随时间变化的状态。
- 2.7推断总结Inference Summary
比较各类推断算法的优缺点和适用场景。
- 3.1课 3：学习概述Probabilistic Graphical Models 3: Learning — Learning: Overview
区分参数学习与结构学习、完整数据与不完整数据这几种学习场景。
- 3.2机器学习概念回顾（选学）Review of Machine Learning Concepts from Prof. Andrew Ng's Machine Learning Class (Optional)
取自吴恩达机器学习课的片段。复习过拟合、正则化、模型选择和偏差-方差。
- 3.3贝叶斯网络的参数估计Parameter Estimation in Bayesian Networks
讲最大似然估计和贝叶斯估计。再讲贝叶斯预测。
- 3.4无向模型的学习Learning Undirected Models
讲对数线性模型和条件随机场的最大似然估计。再讲马尔可夫随机场的 MAP 估计。
- 3.5贝叶斯网络的结构学习Learning BN Structure
讲似然评分、BIC 和贝叶斯评分。再讲树结构学习和一般图上的启发式搜索。
- 3.6不完整数据下的学习Learning BNs with Incomplete Data
讲期望最大化（EM）算法的原理、分析和实践。讨论潜变量模型。
- 3.7学习部分总结与期末考试Learning Summary and Final
总结参数学习和结构学习方法，并完成期末考试。
- 3.8课程总结PGM Wrapup
回顾表示、推断和学习三部分，串起整个专项课程。
斯坦福的其他AI课
- 机器学习 · Machine Learning
- 深度学习 · Deep Learning
- 面向计算机视觉的深度学习 · Deep Learning for Computer Vision
- 基于深度学习的自然语言处理 · Natural Language Processing with Deep Learning
- 图机器学习 · Machine Learning with Graphs
- 人工智能：原理与技术 · Artificial Intelligence: Principles and Techniques