概率系统分析与应用概率
这门课学什么
这是给工科学生的概率入门课。内容包括概率模型、条件概率与贝叶斯公式、离散和连续随机变量、极限定理、伯努利过程与泊松过程、马尔可夫链和统计推断入门。课程有讲座视频、作业和考试及答案。
内容摘要
这门课是齐齐克利斯（John Tsitsiklis）讲的概率入门课。主线从概率模型的公理出发，经过随机变量、随机过程和极限定理，最后到统计推断。教材是他和 Bertsekas 合写的 Introduction to Probability，讲课顺序和教材章节一致。
课程分 4 个阶段。第 1 阶段（第 1–4 讲）讲概率模型、条件概率、贝叶斯法则、独立性和计数。第 2 阶段（第 5–12 讲）讲离散和连续随机变量、联合分布、导出分布、卷积、协方差和迭代期望。第 3 阶段（第 13–20 讲）讲 Bernoulli 过程、Poisson 过程、Markov 链、大数定律和中心极限定理。第 4 阶段（第 21–25 讲）讲贝叶斯推断和经典统计推断。
原课程有 10 份习题集，按最好的 9 份计分。另有 2 次测验和 1 次期末考试。OCW 还提供习题课（recitation）和辅导课（tutorial）的题目和解答，可以用来练习。
学完以后，你能为一个随机现象建立概率模型，能计算期望和方差，能分析到达过程和 Markov 链，能用数据估计参数并做假设检验。这些是通信、机器学习和运筹学的基础。
齐齐克利斯讲课条理清楚，用词精确。他先让学生把问题画成树图或样本空间，再写公式。他会反复指出常见的推理错误，帮助学生建立概率直觉。
为什么值得学
Tsitsiklis 是教材《概率导论》的合著者。这套讲座是学机器学习和统计前的常用基础课。
课程信息
- 学校
- 麻省理工（MIT）
- 课程号
- 6.041
- 讲师
- 约翰·齐齐克利斯（John Tsitsiklis）
- 学期
- Fall 2010
- 平台
- MIT OpenCourseWare
- 费用
- 免费
- 难度
- 入门
- 学时
- 25 讲
- 先修
- 学过多元微积分。
- 材料
- 视频、作业、考试、教材
- 许可证
- CC BY-NC-SA 4.0
课程大纲 · 共 25 节
大纲依据：Fall 2010 OCW 讲座视频列表（25 讲）（查看原始页面 ↗）
- 1概率模型与公理Probability Models and Axioms
定义样本空间和概率公理，用离散和连续的例子建立概率模型。
- 2条件概率与贝叶斯法则Conditioning and Bayes' Rule
讲条件概率、乘法法则、全概率公式和贝叶斯法则。
- 3独立性Independence
定义事件的独立和条件独立，分析由独立部件组成的系统的可靠性。
- 4计数Counting
讲排列、组合和分组的计数方法，并用于等可能概率模型。
- 5离散随机变量、概率质量函数与期望Discrete Random Variables; Probability Mass Functions; Expectations
定义随机变量和概率质量函数（PMF），讲期望的计算。
- 6离散随机变量的例子与联合 PMFDiscrete Random Variable Examples; Joint PMFs
讲方差和几何分布，引入多个随机变量的联合 PMF。
- 7多个离散随机变量：期望、条件与独立Multiple Discrete Random Variables: Expectations, Conditioning, Independence
讲条件 PMF 和随机变量的独立性，并计算二项分布的均值和方差。
- 8连续随机变量Continuous Random Variables
讲概率密度函数和累积分布函数，介绍均匀分布、指数分布和正态分布。
- 9多个连续随机变量Multiple Continuous Random Variables
讲联合密度、条件密度和连续随机变量的独立性。
- 10连续贝叶斯法则与导出分布Continuous Bayes' Rule; Derived Distributions
把贝叶斯法则推广到连续变量，并求随机变量函数的分布。
- 11导出分布、卷积、协方差与相关系数Derived Distributions; Convolution; Covariance and Correlation
用卷积求独立随机变量之和的分布，定义协方差和相关系数。
- 12迭代期望与随机个数随机变量之和Iterated Expectations; Sum of a Random Number of Random Variables
讲全期望公式和全方差公式，计算随机个数随机变量之和的均值和方差。
- 13Bernoulli 过程Bernoulli Process
讲独立试验序列中的到达次数、到达间隔和无记忆性。
- 14Poisson 过程（上）Poisson Process I
把 Bernoulli 过程推广到连续时间，讲 Poisson 分布和指数分布的到达间隔。
- 15Poisson 过程（下）Poisson Process II
讲 Poisson 过程的合并与拆分，以及随机到达者悖论。
- 16Markov 链（1）Markov Chains I
定义离散时间 Markov 链和转移概率，计算 n 步转移概率。
- 17Markov 链（2）Markov Chains II
讲状态分类、周期性和稳态分布。
- 18Markov 链（3）Markov Chains III
讲吸收概率和平均吸收时间。
- 19弱大数定律Weak Law of Large Numbers
用 Markov 不等式和 Chebyshev 不等式证明样本均值依概率收敛到期望。
- 20中心极限定理Central Limit Theorem
说明独立随机变量之和近似服从正态分布，并用它做近似计算。
- 21贝叶斯统计推断（上）Bayesian Statistical Inference I
介绍推断问题的贝叶斯框架，讲最大后验估计。
- 22贝叶斯统计推断（下）Bayesian Statistical Inference II
讲最小均方估计和线性最小均方估计。
- 23经典统计推断（1）Classical Statistical Inference I
介绍经典推断框架，讲最大似然估计和置信区间。
- 24经典统计推断（2）Classical Inference II
讲线性回归和二元假设检验。
- 25经典统计推断（3）与课程总结Classical Inference III; Course Overview
讲显著性检验，并回顾全课的主线。