向量范数
定义
定义: 如果V是数域F上的线性空间,且对于V中任意一向量x,对应着一个实值函数‖x‖,它满足下面三个条件:
- ‖x‖≥0;‖x‖=0⇔x=0 正定性
- ‖αx‖=|α|⋅‖x‖,对∀α∈F 齐次性
- ‖x+y‖≤‖x‖+‖y‖ 三角不等式
则称‖x‖为V上向量x的范数(norm)1
定义: 定义了向量范数‖.‖的线性空间Vn就称为赋范空间,这里的‖.‖表示泛指的任何一种范数。
常用向量范数
- x的1范数: ‖x‖1=|x1|+|x2|+⋯+|xn|
- x的2范数(欧式范数): {% math %}\Vert x \Vert_2 = (\vert x_1\vert^2 + \vert x_2\vert^2 +\cdots +\vert x_n\vert^2)^{\frac{1}{2}}{% endmath %}
- x的∞范数(最大范数): ‖x‖_∞=max_1≤i≤n|x_i|
- x的p范数(p≥1): {% math %}\Vert x \Vert_p = (\vert x_1\vert^p + \vert x_2\vert^p +\cdots +\vert x_n\vert^p)^{\frac{1}{p}}{% endmath %}
向量范数的几何意义
其实常用的几个范数在直观上是有几何意义的,如下所示:
- ‖x‖∞=max(|x2−x1|,|y2−y1|) 长的直角边
- ‖x‖1=|x2−x1|+|y2−y1| 两直角边之和
- {% math %}\Vert x\Vert_2 = \sqrt{(y_2-y_1)^2+(x_2-x_1)^2}{% endmath %} 斜边
向量范数之间的关系
定义: 设‖x‖α与‖x‖β是n维线性空间Vn上定义的任意两种范数,若存在两个与x无关的正常数c1,c2,使得:
则称‖x‖_α与‖x‖β是等价的
定理: 同一个有限维线性空间上不同的范数是等价的。
矩阵范数
定义
定义: 设A为n×n的方阵矩阵,‖∙‖是以A为自变量的的实值函数,且满足条件:
- 非负性: ‖A‖≥0,且‖A‖=0当前仅当A=0
- 齐次性: ‖αA‖=|α|‖A‖,α∈R
- 三角不等式: ‖A+B‖≤‖A‖+‖B‖
- 相容性: ‖AB‖≤‖A‖‖B‖
则称‖A‖为矩阵A的范数
常用矩阵范数
- ‖A‖1=max1≤j≤n∑_i=1n|aij| A的每列绝对值之和的最大值,称为{% math %}A{% endmath %}的列范数 .
- ‖A‖∞=max1≤i≤n∑nj=1|aij| A的每行绝对值之和的最大值,称为A的行范数 .
- ‖A‖2=√λmax(ATA) 称为A的2范数 ,其中λmax(ATA)为ATA的特征值的绝对值的最大值
- ‖A‖F=√∑ni=1∑nj=1|ai,j|2 称为Frobenius范数 .
| ‖A‖1,‖A‖∞ | ‖A‖2 | ‖A‖F | | 容易计算,使用最广泛 | 计算较复杂 对矩阵元素比较敏感,性质较好,使用比较广泛 | 较少使用 |
谱半径
定义: 设A∈Rn×n的特征值为λ1,λ2,⋯,λn称
为矩阵A的谱半径2
定理: 设A为n阶方阵,则对任意算子范数‖⋅‖有
证明:
根据算子范数的相容性,得到‖Ax‖≤‖A‖⋅‖x‖
将任意一个特征根λ所对应的特征向量u代入
即|λ|≤‖A‖,所以ρ(A)≤‖A‖
这个定理说明:矩阵A的谱半径不超过矩阵的任何一种算子范数
定理: 若A对称,则有‖A‖2=ρ(A)
证明:
‖A‖2=√λmax(ATA)=√λmax(A2)
又因为:若λ是A的一个特征根,则λ2必是A2的特征根.
所以,A中特征根绝对值最大的|λ|max必满足:|λ|2max=λmax(A2)
代入上式中,得到:
根据ρ(A)的定义,即得到‖A‖2=ρ(A)