投影，向量投影
以下大部分内容摘自 小班得瑞 的博客，地址为： http://blog.csdn.net/a130098300/article/details/7661548 。 本文的主要内容源自 Strang教授的公开课【 麻省理工公开课：线性代数 】，公开课链接为： http://v.163.com/special/opencourse/daishu.html 。 投影，一个向量(b)在另一个向量(a)上的投影： 实际上就是寻找在a上离b最近的点。如果我们把p看作是a的估计值，那么我们定义e = b - p，称e为误差(error)。 现在，我们的任务是找到这样的p，我们可以规定p = xa（x是某个数），那么e = b - xa，因为e与p也就是a垂直，所以有aT(b - xa) = 0，展开化简得到： 将x代入到p中，得到： 我们发现，如果改变b，那么p相对应改变，然而改变a，p无变化。 有了上面的背景知识，我们可以正式进入主题了，投影矩阵(projection matrix)： p = Pb， 显然这里有： 这里我们最需要关注的是投影矩阵的两个性质： 1）P' = P; 2）P ^ 2 = P; 对于第一个，很容易理解，因为P本身就是个对称阵。第二个，直观的理解就是投影到a上后再投影一次，显然投影并没有改变，也就是二次投影还是其本身。 这个投影到底有什么用呢，从线性代数的角度来说，Ax = b并不一定总有解，这在实际情况中会经常遇到（m > n）。所以我们就把b投影到向量p上，求解Ax = p。 接下来，我们可以考虑更高维度的投影，三维空间的投影是怎么样的呢，我们可以想象一个三维空间内的向量在该空间内的一个平面上的投影： 我们假设这个平面的基(basis)是a1, a2.那么矩阵A = [a1 a2]的列空间就是该平面。假设一个不在该平面上的向量b在该平面上的投影是p，那么我们就有下面这个表达式 p = x1a1 + x2a2 = Ax， 我们的任务就是找到这样的x。这里有一个关键的地方：e = b - Ax与该平面垂直，所以a1'(b - Ax) = 0且a2' (b- Ax) = 0.用矩阵的形式表达就是： A'(b - Ax) = 0. 从上面这个式子我们可