内积空间

矩阵分析简明教程第2章笔记

1. 内积与欧式空间

1.1 内积与实内积空间

定义

设是实数域上的线性空间

若存在唯一的实数与之对应

由此所定义的二元映射满足

则称为与的内积(inner product)，为实内积空间，也称欧氏空间(Euclidian space)

线性空间 定义内积

则是经典欧氏空间

给定n阶实正定阵A，定义内积

则是此内积下的欧氏空间

性质

1.2 向量的范数

定义

设是欧氏空间，称为向量的范数(norm)，长度或模

定理

向量范数满足

• ，等号成立当且仅当线性相关

上述第四条就是Cauchy-Schwarz不等式，具体形式有

1.3 向量的夹角

由Cauchy-Schwarz不等式可知

定义

向量与夹角定义为

1.4 向量的正交

定义

向量与若满足，则称与正交，记为

定理

若向量与正交，则 即勾股定理

推论：向量与满足

2. 欧氏空间的正交基

2.1 标准正交基

正交向量组定义

设向量是欧式空间的一组非零向量

若它们两两正交

则称其为一个正交向量组

正交向量组定理

正交向量组必定线性无关

正交基定义

设向量是欧式空间的一组基

若它们两两正交

则称其为的一个正交基(orthogonal basis)

标准正交基定义

设向量是欧式空间的一组基

若它们两两正交，且每个向量均为单位向量

则称其为的一个标准正交基(orthonormal basis)

向量组是的标准正交基当且仅当

定理(向量的Fourier展开式)

设向量组是欧氏空间得到一组标准正交基

则对任意的，有 其中称之位Fourier系数

为向量在方向上的投影

Fourier级数

设是上平方可积的函数空间

定义内积

为的标准正交基

2.2 标准正交基之间的过度矩阵

定理

维欧氏空间中，任意两个标准正交基之间的过度矩阵是正交矩阵

2.3 Gram-Schmidt正交化过程

定理

设是欧氏空间中的一组线性无关组，则 是一组与等价的正交向量组

Gram-Schmidt正交化将线性无关组转化为与之等价的正交向量组

2.4 标准正交基的存在性

定理

维欧氏空间必存在标准正交基

求标准正交基的步骤

1. 选取的一组基
2. 正交化后得正交基
3. 单位化后得标准正交基

和标准正交基之间有：

欧氏空间的标准正交基不唯一

3. 欧氏空间的同构

定义

设是欧氏空间到的一一映射，若

则称是到的同构映射(isomorphism)，且称与是同构的(isomorphic)

设是欧氏空间的标准正交基， 映射是到的同构映射

定理

任何维欧氏空间都与同构

任何两个维欧氏空间同构

4. 正交补

4.1 正交

向量与集合正交的定义

设是欧氏空间的子集，

若，有

则称向量与集合正交，记为

集合与集合正交的定义

设是欧氏空间的两个子集

若，有

则称集合与正交，记为

定理

设是子空间的基

则

4.2 正交补

定义

设是欧氏空间的子集，称为的正交补(orthogonal completion)

定理

设是欧氏空间的子集，则为子空间

设是有限维欧氏空间的子空间，则

设是欧氏空间的标准正交基，且是子空间的基，则是的基

4.3 正交投影

定义

设是有限维欧氏空间的子空间，

对的向量，存在唯一分解

则称向量为在上的正交投影(projection)

定理

设是欧氏空间的子空间，

若是在上的正交投影

则

向量成为在上的最佳逼近

4.4 最小二乘解

设有不相容的线性方程组，即 求数组使得 最小，这组数称为的最小二乘解，该方法称为最小二乘法(Least Square Method)

解法(最小二乘法)：正交投影的应用

令

设

则，且

问题转化为寻找向量使得为到的最短距离

根据正交投影定理，为在上的投影，从而，即 上述红色部分即为最小二乘解满足的充要条件

5. 正交变换

线性变换定义

设是数域上的线性空间，映射，满足

则称映射是线性变换(transformation)

正交变换定义

设是欧氏空间上的线性变换，若满足

则称是上的正交变换(orthogonal transformation)

定理

设是维欧氏空间上的线性变换，以下命题等价：

• 是上的正交变换
• 保持向量范数不变，即
• 保持标准正交基不变，即若为的标准正交基，则为标准正交基
• 在标准正交基下的矩阵为，则是正交阵，即

6. 复内积空间与酉变换

6.1 复内积空间

定义

设是复数域上的线性空间

若，存在唯一的复数与之对应

由此所定义的二元映射满足

则称为与的内积，为复内积空间，也称之为酉空间(Unitary space)

实内积空间和复内积空间的对比

6.2 复内积空间和实内积空间类似的概念

• 称为向量的长度，记为
• 定义向量与正交，若
• Cauchy-Schwarz不等式成立
• Gram-Schmidt正交化把线性无关组化为正交向量组
• 有限维复内积空间必存在标准正交基

6.3 酉变换

酉变换定义

设是复内积空间中的线性变换

若满足

则称为上的酉变换

酉矩阵定义

若矩阵满足

则称为酉矩阵

称为矩阵的共轭转置

如果是欧氏空间，则酉变换即为正交变换

实正交矩阵为酉矩阵

7. 正规矩阵与正规变换

7.1 正规矩阵与正规变换

正规矩阵定义

设是复方阵，且

则称为正规矩阵(normal matrix)

下列矩阵都是正规阵

正规变换定义

若线性变换在一组标准正交基下的矩阵为正规矩阵

则称线性变换是正规变换(normal transformation)

正规矩阵和正规变换是一一对应的关系

定理

设是复方阵，则为正规矩阵当且仅当存在酉矩阵

使得酉相似于对角阵，即 其中是的特征值

设为正规矩阵

• 为Hermite矩阵的特征值均为实数
• 为反Hermite矩阵的特征值均为0或纯虚数
• 为酉矩阵的特征值的模为1

7.2 矩阵的奇异值

定理

设为的复矩阵，则和满足

• 和均为半正定的Hermite矩阵
• 和具有相同的非零特征值

为半正定的Hermite矩阵

可以定义其平方根为满足的半正定Hermite矩阵，记为

为阶方阵，其特征值为

其中：

• 为的非零特征值
• 为的秩，即

定义

设为的复矩阵

则阶矩阵的特征值称为矩阵的奇异值(singular value)