机器学习系统（哈佛 CS249r 开放教材）
这门课学什么
这是一套 2 卷本开放教材，讲机器学习系统怎样搭建和运行。内容有数据流水线、训练、效率优化、硬件加速、部署与运维。配套有实验笔记本、35 套讲义幻灯片、TinyTorch 动手模块。
内容摘要
这套教材分 2 卷，作者是哈佛的 Vijay Janapa Reddi，由 MIT Press 出版。官网给出一份两学期、共 32 周的课程地图：第 1 学期读第 1 卷，讲单机上的机器学习系统；第 2 学期读第 2 卷，讲大规模集群上的机器学习系统。全书用一条“铁律”串起所有优化：运行时间由数据搬运、计算和延迟开销 3 项决定。
第 1 学期分 4 部分。第 1 部分讲 AI 的物理成本：系统全栈、机器学习工作流和数据工程。第 2 部分拆解框架层：神经网络计算、网络架构、机器学习框架和训练。第 3 部分讲性能：数据选择、模型压缩、硬件加速和基准测试。第 4 部分讲上线：模型服务、MLOps 和负责任的工程实践。
第 2 学期也分 4 部分。依次讲计算基础设施、网络和存储；分布式训练与集合通信；容错与集群编排；性能工程、大规模推理、边缘智能和大规模运维；最后讲安全、隐私、鲁棒性和可持续性。
每周按“读、写、试、部署”循环。学员先读章节，再在 TinyTorch 里从零实现张量、自动微分、优化器等框架部件，然后在交互式实验里改参数观察权衡，还可以把模型部署到 Arduino、Seeed XIAO、Raspberry Pi 上。第 1 学期以 AI Olympics 部署竞赛收尾，第 2 学期以综合项目收尾。
这不是视频课，而是一套可以直接采用的课程包：每章配幻灯片，另有教学大纲、评分标准和面试练习题库 StaffML。学完后学员能估算模型在给定硬件上的瓶颈，并能说明量化、并行和服务架构的取舍。
为什么值得学
系统讲 AI 工程全流程的免费资源很少。这本教材来自哈佛课程，网上全文免费，并由 MIT Press 出版。
课程信息
- 学校
- 哈佛（Harvard）
- 课程号
- CS249r
- 讲师
- 维杰·贾纳帕·雷迪（Vijay Janapa Reddi）
- 学期
- 2026 edition
- 平台
- 课程官网
- 费用
- 免费
- 难度
- 中级
- 先修
- 会 Python，并学过 1 门机器学习入门课。
- 材料
- 教材、幻灯片、代码、作业
- 许可证
- CC BY-NC-SA 4.0（教材部分）
课程大纲 · 共 22 节
大纲依据：mlsysbook.ai 两学期课程地图（第 1 学期 16 周 + 第 2 学期 16 周），按周合并为 22 条（查看原始页面 ↗）
- 1导论Introduction
定义机器学习系统，引出“铁律”的 3 项。TinyTorch 从张量模块开始。
- 2机器学习系统全景ML Systems
梳理从应用、框架、运行时到硬件的系统栈，区分计算受限和内存受限的负载。
- 3机器学习工作流ML Workflow
跟踪从数据到部署的端到端流程，找出每个阶段的瓶颈，对比训练与推理的系统需求。
- 4数据工程Data Engineering
计算数据流水线的吞吐量，分析数据格式、存储和预处理对训练速度的影响。可选用 Arduino 采集传感器数据。
- 5神经网络计算Neural Computation
实现全连接层的前向与反向传播，统计 FLOPs 和前向过程的内存分配。
- 6神经网络架构NN Architectures
从内存、计算和并行度比较 CNN、RNN 和 Transformer，计算注意力的显存占用。
- 7机器学习框架ML Frameworks
对比即时执行与图执行，从性能剖析结果中识别 GPU 空等，理解算子融合。
- 8训练Training
实现反向模式自动微分，分析批大小对内存、吞吐和收敛的影响。
- 9数据选择Data Selection
讨论怎样筛选和精简训练数据，在数据量与模型效果之间取舍。TinyTorch 实现优化器。
- 10模型压缩Model Compression
讲量化、剪枝等压缩方法。可选把量化模型部署到 Seeed XIAO ESP32S3。
- 11硬件加速HW Acceleration
讲加速器怎样提升计算效率。可选在 Raspberry Pi 加 Coral 加速棒上剖析推理。
- 12基准测试Benchmarking
讲怎样公平地测量训练和推理性能，并解读基准结果。
- 13–14模型服务与 MLOpsModel Serving; ML Operations
讲在线推理服务的延迟与吞吐取舍，以及模型上线后的监控、更新和流水线管理。
- 15–16负责任的工程与总结Responsible Engineering; Conclusion
讨论公平、隐私和环境成本。最后用 AI Olympics 部署竞赛综合全学期内容。
- 17–18规模化导论与计算基础设施Introduction to Scale; Compute Infrastructure
说明单机为什么不够，介绍加速器集群和数据中心的计算资源。
- 19–20网络互联与数据存储Network Fabrics; Data Storage
讲集群内的高速网络，以及大规模训练数据的存储系统。
- 21–22分布式训练与集合通信Distributed Training; Collective Communication
讲数据并行、模型并行和流水线并行，以及 all-reduce 等集合通信操作。
- 23–24容错与集群编排Fault Tolerance; Fleet Orchestration
讲大规模训练中节点故障后的恢复，以及集群任务的调度和编排。
- 25–26性能工程与大规模推理Performance Engineering; Inference at Scale
讲集群级性能调优，以及大模型在线推理的批处理和资源分配。
- 27–28边缘智能与大规模运维Edge Intelligence; Ops at Scale
讲模型在边缘设备上的部署，以及大规模系统的运维实践。
- 29–30安全、隐私与鲁棒 AISecurity & Privacy; Robust AI
讲模型和数据面临的攻击与隐私保护，以及系统在故障和数据分布变化下的鲁棒性。
- 31–32可持续与负责任的 AI、总结Sustainable AI + Responsible AI; Conclusion
讨论 AI 的能耗和碳排放，以及负责任的部署。最后完成综合项目。
哈佛的其他AI课
- CS50 人工智能导论（Python） · CS50's Introduction to Artificial Intelligence with Python
- 哈佛数据科学专业证书系列（9 门课） · Professional Certificate in Data Science (HarvardX)
- Python 数据科学导论 · Introduction to Data Science with Python
- Python 机器学习与人工智能 · Machine Learning and AI with Python
- TinyML 基础（微型机器学习系列） · Fundamentals of TinyML (Tiny Machine Learning series)
- AI 安全（CS 2881R） · CS 2881R: AI Safety