机器视觉
这门课学什么
这门课从物理和几何推导计算机视觉。内容包括成像原理、光流、光度立体、明暗恢复形状、边缘检测、位姿估计和三维重建。课程有讲座视频、讲义、作业和考试。
内容摘要
这门课从物理出发讲机器视觉。核心思路是把成像看成一个正向过程：光照、表面和相机共同决定图像。视觉任务就是把这个过程反过来求解。全课不讲神经网络，全部用光学、几何和微积分推导。
课程分 4 个阶段。第 1–5 讲研究运动：透视投影、运动场、光流、碰撞时间和消失点。第 6–10 讲研究明暗：光度立体、反射图，以及把明暗恢复形状问题化成常微分方程求解。
第 11–16 讲转向工业机器视觉：边缘检测、斑块分析、模板匹配和快速滤波。Horn 结合多项美国专利，讲这些算法在工业视觉软件中怎样实现。第 17–23 讲研究三维几何：旋转与单位四元数、绝对定向、相对定向、双目立体、外定向和扩展高斯像。最后 1 讲把全课串起来。
作业是 5 次习题和 2 次带回家完成的测验。测验形式和习题相同，只是更长、分值更高。研究生版 6.868 另加期末项目。学完后，你能从第一性原理推导光流、光度立体、相机定向这类问题的解法，也能看懂深度学习视觉方法背后的物理约束。
Horn 讲课以推导为主，节奏稳，每一步都写清楚。2020 年这一轮是线上授课，视频是远程录制的。
为什么值得学
Horn 是光流和明暗恢复形状的开创者。这门课讲的是深度学习视觉之下的经典基础。
课程信息
- 学校
- 麻省理工（MIT）
- 课程号
- 6.801
- 讲师
- 贝特霍尔德·霍恩（Berthold Horn）
- 学期
- Fall 2020
- 平台
- MIT OpenCourseWare
- 费用
- 免费
- 难度
- 中级
- 学时
- 23 段讲座视频
- 先修
- 学过多元微积分和线性代数。
- 材料
- 视频、讲义、作业、考试
- 许可证
- CC BY-NC-SA 4.0
课程大纲 · 共 24 节
大纲依据：Fall 2020 OCW Calendar 讲次列表（查看原始页面 ↗）
- 1概述与成像Overview and image formation
提出全课的三个问题：物体成像在哪里、有多亮、怎样从图像反推场景。
- 2成像、透视投影、时间导数与运动场Image formation, perspective projection, time derivative, and motion field
推导透视投影，讲物体运动怎样在图像上形成运动场。
- 3碰撞时间、扩展焦点、直接运动视觉方法与噪声增益Time to contact, focus of expansion, direct motion vision methods, and noise gain
不提取特征点，直接从亮度导数估计碰撞时间和运动方向，并分析噪声怎样被放大。
- 4固定光流、光电鼠标、亮度恒定假设与闭式解Fixed optical flow, optical mouse, constant brightness assumption, and closed form solution
在亮度恒定假设下推导光流方程，以光电鼠标为例求出闭式解。
- 5碰撞时间演示、消失点与相机标定TTC and FOR Montivision demos, vanishing point, and use of VPs in camera calibration
演示碰撞时间和扩展焦点的估计程序，再讲消失点及其在相机标定中的用法。
- 6光度立体、噪声增益与误差放大Photometric stereo, noise gain, error amplification, and eigenvalues and eigenvectors review
用多个光源下拍摄的图像求表面法向，并用特征值分析误差放大。
- 7梯度空间、反射图、图像辐照度方程与球心投影Gradient space, reflectance map, image irradiance equation, and gnomonic projection
建立表面朝向与图像亮度之间的关系，引入反射图这一核心工具。
- 8特殊情形下的明暗恢复形状Shape from shading in special cases, lunar surface, scanning electron microscope, and Green’s theorem in photometric stereo
用月球表面和扫描电镜图像这两类特殊反射模型求解形状，并用格林定理分析光度立体。
- 9一般情形下的明暗恢复形状Shape from shading in general case—from first order nonlinear PDE to five ODEs
把一阶非线性偏微分方程化成 5 个常微分方程来求解。
- 10特征带展开与迭代解法Characteristic strip expansion, shape from shading, and iterative solutions
沿特征带逐步展开求出表面，再讲迭代数值解法。
- 11边缘检测、亚像素定位、CORDIC 与直线检测Edge detection, subpixel position, CORDIC, and line detection (US Patent 6,408,109)
讲工业级边缘检测怎样达到亚像素精度，并结合一项专利讲实现细节。
- 12斑块分析与二值图像处理Blob analysis, binary image processing, use of Green’s theorem, and derivative and integral as convolutions
讲二值图像中区域的面积、质心和方向怎样计算，以及把求导和积分写成卷积。
- 13物体检测、识别与位姿确定Object detection, recognition and pose determination, and PatQuick (US Patent 7,016,539)
以工业视觉软件 PatQuick 为例，讲模板匹配和位姿搜索。
- 14PatQuick 检测、霍夫变换与单应变换Inspection in PatQuick, Hough transform, homography, position determination, and multi-scale
讲 PatQuick 用于产品检测的方法，以及霍夫变换、单应变换和多尺度搜索。
- 15PatMax 对准、距离场与降采样Alignment, recognition in PatMAx, distance field, and filtering and sub-sampling (US Patent 7,065,262)
讲 PatMax 的精确对准方法和距离场，以及滤波与降采样。
- 16快速卷积、低通滤波近似与积分图Fast convolution, low pass filter approximations, and integral images (US Patent 6,457,032)
讲用分段多项式近似和积分图加速滤波计算。
- 17摄影测量与定向问题Photogrammetry, orientation, axes of inertia, symmetry, and absolute, relative, interior, and exterior orientation
介绍绝对、相对、内、外 4 类定向问题，并用惯性轴和对称性求物体方向。
- 18旋转的表示与单位四元数Rotation and how to represent it, unit quaternions, and the space of rotations
比较旋转的几种表示方法，重点讲单位四元数。
- 19绝对定向闭式解、离群点与 RANSACAbsolute orientation in closed form, outliers and robustness, and RANSAC
用四元数求两组三维点之间旋转与平移的闭式解，再用 RANSAC 处理离群点。
- 20旋转空间、正则剖分与临界曲面Space of rotations, regular tessellations, and critical surfaces in motion vision and binocular stereo
讲怎样在旋转空间中均匀采样，以及运动视觉和双目立体中出现多解的临界曲面。
- 21相对定向、双目立体与运动恢复结构Relative orientation, binocular stereo, structure from motion, quadrics, camera calibration, and reprojection
求两台相机之间的相对位姿，并讲相机标定和重投影误差。
- 22外定向与光束法平差Exterior orientation, recovering position and orientation, bundle adjustment, and object shape
从已知三维点的图像恢复相机位置和方向，并用光束法平差联合优化。
- 23高斯像与扩展高斯像Gaussian image and extended Gaussian image, solids of revolution, direction histograms, and regular polyhedra
用表面法向的分布表示物体形状，用于识别物体和求物体姿态。
- 24全课总结Putting it all together
把各讲内容串成一个整体，回顾整门课。