线性代数与矩阵之度量矩阵与广义内积

度量矩阵与广义内积

度量矩阵

Gram矩阵

设\(A\)为一个\(m\times n\)阶实矩阵，\(n\)阶方阵\(G=[g_{ij}]=A^TA\)称为Gramian或Gram矩阵，也有人称之为交互乘积(cross-product)矩阵。考虑\(A\)的行向量表达式\(A=\begin{bmatrix} \mathbf{a}_1&\mathbf{a}_2&\cdots&\mathbf{a}_n \end{bmatrix}，\mathbf{a}_i\in\mathbb{R}^m\)，则 \[G=A^TA=\begin{bmatrix} \mathbf{a}_1^T\\ \mathbf{a}_2^T\\ \vdots\\ \mathbf{a}_n^T \end{bmatrix}\begin {bmatrix} \mathbf{a}_1&\mathbf{a}_2&\cdots&\mathbf{a}_n \end{bmatrix}=\begin{bmatrix} \mathbf{a}_1^T\mathbf{a}_1&\mathbf {a}_1^T\mathbf{a}_2&\cdots&\mathbf{a}_1^T\mathbf{a}_n\\ \mathbf{a}_2^T\mathbf{a}_1&\mathbf{a}_2 ^T\mathbf{a}_2&\cdots&\mathbf{a}_2^T\mathbf{a}_n\\ ~&~&~&~\\ \mathbf{a}_n^T\mathbf{a}_1&\mathbf{a}_n^T\mathbf{a}_2&\cdots&\mathbf{a}_n^T\mathbf{a}_n \end{bmatrix}\] 这指出\(g_{ij}=\mathbf{a}_i^T\mathbf{a}_j\)。推广至一般情况，设向量集\(\mathbf{v}_1,\mathbf{v}_2,\ldots,\mathbf{v}_n\)属于内积空间\(\mathcal{V}，n\times n\)阶Gramian矩阵\(G\)的\((i,j)\)元定义为\(\mathbf{v}_i和\mathbf{v}_j\)的内积，以\(g_{ij}=\left\langle\mathbf{v}_i,\mathbf{v}_j\right\rangle\)表示。

本文仅讨论广泛应用于统计学与控制系统的实Gramian矩阵，以下列举几个实Gramian矩阵\(G=A^TA\)的基本性质。

1. \(A^TA\)是对称矩阵。

明显地，\(g_{ij}=\mathbf{a}_i^T\mathbf{a}_j=\mathbf{a}_j^T\mathbf{a}_i=g_{ji}\)。

(2)对任一实矩阵\(A，\mathrm{rank}(A^TA)=\mathrm{rank}A\)。

(3)若\(A^TA=0，则A=0\)。

性质(3)是性质(2)的必然结果。若\(A^TA=0\)，则\(\mathrm{rank}A=\mathrm{rank}A^TA=\mathrm{rank}0=0\)，惟有零矩阵其矩阵秩为零，推得\(A=0\)。

Gramian矩阵和正定矩阵有密切的关系，归结为以下三个性质。

(4)对任一实矩阵\(A，A^TA\)是半正定矩阵。设\(\mathbf{x}\in\mathbb{R}^n且\mathbf{x}\neq\mathbf{0}\)，则\(\mathbf{x}^TA^TA\mathbf{x}=(A\mathbf{x})^T(A\mathbf{x})=\Vert A\mathbf{x}\Vert^2\ge 0\)。

(5)任一实对称半正定矩阵\(M\)皆可表示为Grammin矩阵，亦即存在一矩阵\(A\)使得\(M=A^TA\)。

实对称矩阵\(M\)可正交对角化为\(M=Q\Lambda Q^{T}\)，其中\(Q^TQ=I，\Lambda=\mathrm{diag}(\lambda_1,\ldots,\lambda_n)\)。又\(M\)为半正定，这意味对所有\(i，\lambda_i\ge 0\)，故可令\(\Lambda^{1/2}=\mathrm{diag}(\sqrt{\lambda_1},\ldots,\sqrt{\lambda_n})\)且\(A=\Lambda^{1/2}Q^T\)，立得\(M=Q\Lambda Q^{T}=(Q\Lambda^{1/2})(\Lambda^{1/2}Q^T)=(\Lambda^{1/2}Q^T)^ T(\Lambda^{1/2}Q^T)=A^TA\)。

(6)唯当\(A\)的列向量\(\mathbf{a}_1,\ldots,\mathbf{a}_n\)是线性独立时，\(A^TA\)可逆，故为正定矩阵。因为\(A\)有线性独立的列向量意味\(\mathrm{rank}A=n\)，由性质(2)可知\(\mathrm{rank}(A^TA)=n\)，反向陈述显然成立。另外也可以考虑\(A\mathbf{x}=\mathbf{0}\)，当A有线性独立行向量时，零空间\(N(A)=\{\mathbf{0}\}\)，性质(4)的等号仅发生于\(\mathbf{x}=\mathbf{0}\)，故\(A\)为正定矩阵。

广义内积

有复空间\(C^n\)，有一组基\(bases_1=\{\varepsilon_1,\varepsilon_2,\dotsb,\varepsilon_n\}\)，\(\alpha,\beta\)用\(base_1\)表示的向量，那么\(\alpha,\beta\)在\(base_1\)下的内积可以定义为 \[\langle\alpha,\beta\rangle=\sum_{i=1}^n\sum_{j=1}^n x_i\bar y_i\langle\varepsilon_i,\varepsilon_j\rangle\\=x^TA\bar y\] 其中，\(A=(\langle\varepsilon_i,\varepsilon_j\rangle)_{n*n}\)，称\(A\)是空间\(C^n\)在基\(\{\varepsilon_1,\varepsilon_2,\dotsb,\varepsilon_n\}\)下的度量矩阵，这种带有度量矩阵的内积称为广义内积。

对于欧几里得空间\(R^n\)，度量矩阵是对称矩阵\(A^T=A\)；对于酉空间\(C^n\)，度量矩阵是Hermite矩阵\(A^H=A\)。对于一般内积，可以看成度量矩阵是n阶单位矩阵\(I_{n*n}\)。

可以看出定义内积的方式是多种多样的，因此我们能够指出只要满足哪些问题就可以算是内积。

内积空间

标量域\({\displaystyle F}\)是指实数域\(\mathbb {R}\)或复数域\(\mathbb {C}\)。

正式地，一个内积空间是域\(F\)上的向量空间\(V\)与一个内积(即一个映射)构成的。\(V\)上的一个内积定义为正定、非退化的共轭双线性形式（\(F = \mathbb{R}\)时，内积是一个正定、对称、非退化的双线性形式），记为\(\langle \cdot, \cdot \rangle : V \times V \rightarrow F\)。

它满足以下设定：

1. 共轭对称；\(\forall x,y\in V, \; \; \langle x,y\rangle =\overline{\langle y,x\rangle}\)，这个设定蕴含了：\(\forall x \in V, \; \; \langle x,x\rangle \in \mathbb{R}\)，因为\(\langle x,x\rangle = \overline{\langle x,x\rangle}\).
2. 对第一个元素线性； \[\forall a\in F,\ \forall x,y\in V,\ \langle ax,y\rangle= a \langle x,y\rangle, \\ \forall x,y,z\in V,\ \langle x+y,z\rangle= \langle x,z\rangle+ \langle y,z\rangle.\] 前两条可以推断出： \[\forall b\in F,\ \forall x,y\in V,\ \langle x,by \rangle= \overline{b} \langle x,y\rangle,\\ \forall x,y,z\in V,\ \langle x,y+z\rangle= \langle x,y\rangle+ \langle x,z\rangle.\] 因此\(\langle \cdot , \cdot \rangle\)实际上是一个半双线性形式。
3. 非负性：\(\forall x \in V,\ \langle x,x\rangle \ge 0.\)
4. 非退化：从\(V\)到对偶空间\(V^\ast\)的映射：\(x\mapsto \langle x,\cdot\rangle\)是同构映射。在有限维的向量空间中，只需要验证它是单射：\(\langle x,y\rangle = 0 \; \forall y \in V\),当且仅当\(x = 0\)。

拥有以上性质的共轭双线性形式被称为埃尔米特形式。内积是一个埃尔米特形式。如果\(F\)是实数域\(\mathbb {R}\)那么共轭对称性质就等价于对称性：\(\langle x,y\rangle=\langle y,x\rangle\)，也就是说，共轭双线性变成了一般的双线性。