奇异值
定义: 设A∈Cm×n，如果存在非负实数σ和非零向量u∈Cn,v∈Cm使得:
Au=σv,AHv=σu
则称σ为A的奇异值,u和v分别称为A对应于奇异值的右奇异向量和左奇异向量
根据上述定义，可以得到:
AHAu=σAHv=σ2uAHAv=σAHu=σ2v
因此σ2就是AHA的特征值，也是AAH的特征值，而u和v分别是AHA和AAH对应于特征值σ2的特征向量。
实矩阵的奇异值分解(SVD)
定理: 设A∈Rm×n,r=rank(A),则一定存在正交矩阵U∈Rm×m,V∈Rn×n和对角矩阵
Σ=diag(σ1,σ2,⋯,σr,0,⋯,0)∈Rm×n
使得A=UΣVT
A=UΣVT称为矩阵A的奇异值分解，其中σ1≥σ2≥⋯≥σr>0,(i=1,2,⋯,r)称为A的奇异值。
SVD的性质
性质1: A的非零奇异值的个数r就是A的秩
性质2: 如果A是n阶方阵，则|det(A)|=∏ni=1σi
性质3: σ1≥σ2≥⋯≥σr,是ATA或AAT的特征值的开方
性质4: 设U=[u1,u2,⋯,um],V=[v1,v2,⋯,vn]，则u1u2⋯um是AAT的特征向量，v1v2⋯vn是ATA的特征向量
性质5: A可以表示成r个秩为1的矩阵的和。
A=UΣVT=UrΣrVTt=σ1u1vT1+σ2u2vT2⋯+σrurvTr
这是A的奇异值分解的紧凑形式
总结
其实和SVD有关的数学内容是非常多的，这里只是简单记录了一下奇异值分解在数学上的相关定义，还有很多内容没有这里没有给出。
奇异值分解在矩阵论中是一个非常重要的概念，在很多工程问题中都需要用到SVD，以后可能会单独写一些关于SVD具体应用的博文。