范数理论及其应用

矩阵分析简明教程第5章笔记

1. 向量范数

1.1 内积诱导的范数

欧式空间中，向量与内积为

定义向量的长度(或范数)为

中的向量长度满足以下性质：

• 非负性：
• 齐次性：
• 三角不等式：

1.2 向量范数

定义

设是维线性空间，对于中的每一个向量赋以一实数，这个实数称之为向量的范数(norm)，记为，并要求范数满足如下条件：

• 非负性：
• 齐次性：
• 三角不等式：

称为赋范空间(normed space)

1.3 常见的向量范数

在(或)中，对于任意向量

向量的1-范数

所有项绝对值的和

向量的2-范数

所有项的平方和的算术平方根

向量的无穷范数

绝对值最大的项

向量的p-范数

-范数()满足

当在复数域时，指的模

1.4 向量范数的等价

定义

设和是维线性空间上定义的两种向量范数

若存在与无关的正数使得

则称范数与等价(equivalent)

此处的和指两种不同的范数，并不是向量的1-范数和2-范数

定理1

有限维线性空间上的任意两个向量范数都是等价的

该结论不能推广到无穷维空间

定理2

在中，对于向量序列，则 其中为任意一种向量范数

有限维空间中序列在各种范数下收敛是等价的

2. 矩阵范数

2.1 矩阵范数定义

若对于任一阶复方阵，都有一个实数与之对应，且满足

• 非负性：
• 齐次性：
• 三角不等式：
• 相容性：

则称为矩阵的范数(norm)

2.2 常见的矩阵范数

设矩阵

矩阵的m1-范数

所有项绝对值的和，对应向量的1-范数

矩阵的Frobenius-范数

所有项的平方和的算术平方根，对应向量的2-范数

矩阵的m无穷范数

绝对值最大的项的n倍，对应向量的-范数

矩阵的1-范数

矩阵中元素绝对值列和最大的一列元素绝对值之和，也称列和范数

矩阵的无穷范数

矩阵中元素绝对值行和最大的一行元素绝对值之和，也称行和范数

矩阵的2-范数

其中是的最大特征值，也称谱范数

向量范数诱导的矩阵范数

设矩阵，设是上的向量范数，则 是矩阵范数，称之为由向量范数诱导的矩阵范数，或算子范数

2.3 矩阵范数的等价

定义

设和是上定义的两种矩阵范数

若存在与无关的正数使得

则称范数与等价(equivalent)

定理

上的任意两个矩阵范数都是等价的

2.4 矩阵范数与向量范数的相容性

定义

设

若向量范数与矩阵范数满足

则称矩阵范数与向量范数是相容的(compatible)

矩阵的-范数与向量的1-范数是相容的

矩阵的Frobenius-范数与向量的2-范数是相容的

矩阵的-范数与向量的-范数是相容的

定理

每一种向量范数都有与之相容的矩阵范数

每一种矩阵范数也都有与之相容的向量范数

3. 范数的应用

3.1 最小二乘解

设有不相容的线性方程组，即 求数组使得最小

定义

若向量使得 则称为方程组的一个最小二乘解(Least square solution)

根据正交投影定理，或多元函数极值条件得，方程组的最小二乘解满足的充要条件为

该问题在正交补部分也有提及，详见最小二乘解与正交补

定理

设，则方程组的全部最小二乘解为 其中为任意列向量

3.2 极小范数的最小二乘解

定义

设是的最小二乘解

若对于的每一个最小二乘解都有

则称是方程组的极小范数的最小二乘解，或最佳逼近解

定理

设，则方程组有唯一的极小范数的最小二乘解