线性代数与矩阵之度量矩阵与广义内积

AA为一个m×nm\times n阶实矩阵,nn阶方阵G=[gij]=ATAG=[g_{ij}]=A^TA称为Gramian或Gram矩阵,也有人称之为交互乘积(cross-product)矩阵。考虑AA的行向量表达式A=[a1a2an]aiRmA=\begin{bmatrix} \mathbf{a}_1&\mathbf{a}_2&\cdots&\mathbf{a}_n \end{bmatrix},\mathbf{a}_i\in\mathbb{R}^m,则 G=ATA=[a1Ta2TanT][a1a2an]=[a1Ta1a1Ta2a1Tana2Ta1a2Ta2a2Tan    anTa1anTa2anTan]G=A^TA=\begin{bmatrix} \mathbf{a}_1^T\\ \mathbf{a}_2^T\\ \vdots\\ \mathbf{a}_n^T \end{bmatrix}\begin {bmatrix} \mathbf{a}_1&\mathbf{a}_2&\cdots&\mathbf{a}_n \end{bmatrix}=\begin{bmatrix} \mathbf{a}_1^T\mathbf{a}_1&\mathbf {a}_1^T\mathbf{a}_2&\cdots&\mathbf{a}_1^T\mathbf{a}_n\\ \mathbf{a}_2^T\mathbf{a}_1&\mathbf{a}_2 ^T\mathbf{a}_2&\cdots&\mathbf{a}_2^T\mathbf{a}_n\\ ~&~&~&~\\ \mathbf{a}_n^T\mathbf{a}_1&\mathbf{a}_n^T\mathbf{a}_2&\cdots&\mathbf{a}_n^T\mathbf{a}_n \end{bmatrix} 这指出gij=aiTajg_{ij}=\mathbf{a}_i^T\mathbf{a}_j。推广至一般情况,设向量集v1,v2,,vn\mathbf{v}_1,\mathbf{v}_2,\ldots,\mathbf{v}_n属于内积空间Vn×n\mathcal{V},n\times n阶Gramian矩阵GG(i,j)(i,j)元定义为vivj\mathbf{v}_i和\mathbf{v}_j的内积,以gij=vi,vjg_{ij}=\left\langle\mathbf{v}_i,\mathbf{v}_j\right\rangle表示。

本文仅讨论广泛应用于统计学与控制系统的实Gramian矩阵,以下列举几个实Gramian矩阵G=ATAG=A^TA的基本性质。

  1. ATAA^TA是对称矩阵。

明显地,gij=aiTaj=ajTai=gjig_{ij}=\mathbf{a}_i^T\mathbf{a}_j=\mathbf{a}_j^T\mathbf{a}_i=g_{ji}

(2)对任一实矩阵Arank(ATA)=rankAA,\mathrm{rank}(A^TA)=\mathrm{rank}A

(3)若ATA=0,则A=0A^TA=0,则A=0

性质(3)是性质(2)的必然结果。若ATA=0A^TA=0,则rankA=rankATA=rank0=0\mathrm{rank}A=\mathrm{rank}A^TA=\mathrm{rank}0=0,惟有零矩阵其矩阵秩为零,推得A=0A=0

Gramian矩阵和正定矩阵有密切的关系,归结为以下三个性质。

(4)对任一实矩阵AATAA,A^TA是半正定矩阵。设xRnx0\mathbf{x}\in\mathbb{R}^n且\mathbf{x}\neq\mathbf{0},则xTATAx=(Ax)T(Ax)=Ax20\mathbf{x}^TA^TA\mathbf{x}=(A\mathbf{x})^T(A\mathbf{x})=\Vert A\mathbf{x}\Vert^2\ge 0

(5)任一实对称半正定矩阵MM皆可表示为Grammin矩阵,亦即存在一矩阵AA使得M=ATAM=A^TA

实对称矩阵MM可正交对角化为M=QΛQTM=Q\Lambda Q^{T},其中QTQ=IΛ=diag(λ1,,λn)Q^TQ=I,\Lambda=\mathrm{diag}(\lambda_1,\ldots,\lambda_n)。又MM为半正定,这意味对所有iλi0i,\lambda_i\ge 0,故可令Λ1/2=diag(λ1,,λn)\Lambda^{1/2}=\mathrm{diag}(\sqrt{\lambda_1},\ldots,\sqrt{\lambda_n})A=Λ1/2QTA=\Lambda^{1/2}Q^T,立得M=QΛQT=(QΛ1/2)(Λ1/2QT)=(Λ1/2QT)T(Λ1/2QT)=ATAM=Q\Lambda Q^{T}=(Q\Lambda^{1/2})(\Lambda^{1/2}Q^T)=(\Lambda^{1/2}Q^T)^ T(\Lambda^{1/2}Q^T)=A^TA

(6)唯当AA的列向量a1,,an\mathbf{a}_1,\ldots,\mathbf{a}_n是线性独立时,ATAA^TA可逆,故为正定矩阵。因为AA有线性独立的列向量意味rankA=n\mathrm{rank}A=n,由性质(2)可知rank(ATA)=n\mathrm{rank}(A^TA)=n,反向陈述显然成立。另外也可以考虑Ax=0A\mathbf{x}=\mathbf{0},当A有线性独立行向量时,零空间N(A)={0}N(A)=\{\mathbf{0}\},性质(4)的等号仅发生于x=0\mathbf{x}=\mathbf{0},故AA为正定矩阵。

有复空间CnC^n,有一组基bases1={ε1,ε2,,εn}bases_1=\{\varepsilon_1,\varepsilon_2,\dotsb,\varepsilon_n\}α,β\alpha,\betabase1base_1表示的向量,那么α,β\alpha,\betabase1base_1下的内积可以定义为 α,β=i=1nj=1nxiyˉiεi,εj=xTAyˉ\langle\alpha,\beta\rangle=\sum_{i=1}^n\sum_{j=1}^n x_i\bar y_i\langle\varepsilon_i,\varepsilon_j\rangle\\=x^TA\bar y 其中,A=(εi,εj)nnA=(\langle\varepsilon_i,\varepsilon_j\rangle)_{n*n},称AA是空间CnC^n在基{ε1,ε2,,εn}\{\varepsilon_1,\varepsilon_2,\dotsb,\varepsilon_n\}下的度量矩阵,这种带有度量矩阵的内积称为广义内积。

对于欧几里得空间RnR^n,度量矩阵是对称矩阵AT=AA^T=A;对于酉空间CnC^n,度量矩阵是Hermite矩阵AH=AA^H=A。对于一般内积,可以看成度量矩阵是n阶单位矩阵InnI_{n*n}

可以看出定义内积的方式是多种多样的,因此我们能够指出只要满足哪些问题就可以算是内积。

标量域F{\displaystyle F}是指实数域R\mathbb {R}或复数域C\mathbb {C}

正式地,一个内积空间是域FF上的向量空间VV与一个内积(即一个映射)构成的。VV上的一个内积定义为正定、非退化的共轭双线性形式(F=RF = \mathbb{R}时,内积是一个正定、对称、非退化的双线性形式),记为,:V×VF\langle \cdot, \cdot \rangle : V \times V \rightarrow F

它满足以下设定:

  1. 共轭对称;x,yV,    x,y=y,x\forall x,y\in V, \; \; \langle x,y\rangle =\overline{\langle y,x\rangle},这个设定蕴含了:xV,    x,xR\forall x \in V, \; \; \langle x,x\rangle \in \mathbb{R},因为x,x=x,x\langle x,x\rangle = \overline{\langle x,x\rangle}.
  2. 对第一个元素线性; aF, x,yV, ax,y=ax,y,x,y,zV, x+y,z=x,z+y,z.\forall a\in F,\ \forall x,y\in V,\ \langle ax,y\rangle= a \langle x,y\rangle, \\ \forall x,y,z\in V,\ \langle x+y,z\rangle= \langle x,z\rangle+ \langle y,z\rangle. 前两条可以推断出: bF, x,yV, x,by=bx,y,x,y,zV, x,y+z=x,y+x,z.\forall b\in F,\ \forall x,y\in V,\ \langle x,by \rangle= \overline{b} \langle x,y\rangle,\\ \forall x,y,z\in V,\ \langle x,y+z\rangle= \langle x,y\rangle+ \langle x,z\rangle. 因此,\langle \cdot , \cdot \rangle实际上是一个半双线性形式。
  3. 非负性:xV, x,x0.\forall x \in V,\ \langle x,x\rangle \ge 0.
  4. 非退化:从VV到对偶空间VV^\ast的映射:xx,x\mapsto \langle x,\cdot\rangle是同构映射。在有限维的向量空间中,只需要验证它是单射:x,y=0  yV\langle x,y\rangle = 0 \; \forall y \in V,当且仅当x=0x = 0

拥有以上性质的共轭双线性形式被称为埃尔米特形式内积是一个埃尔米特形式。如果FF是实数域R\mathbb {R}那么共轭对称性质就等价于对称性:x,y=y,x\langle x,y\rangle=\langle y,x\rangle,也就是说,共轭双线性变成了一般的双线性。