数学分析之投影内积和傅里叶级数 Mar 18, 2020 · 数学分析 · 分享到: 数学分析之投影内积和傅里叶级数 内积（点积）传统定义 性质 基本运算规则 空间关系 内积与投影 内积的推广 复数的内积 矩阵的内积 函数的内积 从内积角度理解傅里叶级数 点积是线性代数、矩阵论中常用的概念，我们最开始学习的点积就是向量空间中的点积，但是内积在其他领域比如复数、矩阵、函数中也是有定义的，本笔记将介绍内积及其拓展。 内积（点积）传统定义 点积（Dot Product）又称数量积或标量积，是一种接受两个等长的数字序列（通常是坐标向量）、返回单个数字的代数运算。 在欧几里得几何中，两个笛卡尔坐标向量的点积常称为内积。点积的名称源自表示点乘运算的点号（\(a\cdot b\)），读作\(a\ dot\ b\)，标量积的叫法则是在强调其运算结果为标量而非向量。 从代数角度看，先对两个数字序列中的每组对应元素求积，再对所有积求和，结果即为点积。从几何角度看，点积则是两个向量的长度与它们夹角余弦的积。这两种定义在笛卡尔坐标系中等价。 代数角度，点积表示为： \({\vec{a}}=[a_{1},a_{2},\cdots ,a_{n}]\)和\({\vec{b}}=[b_{1},b_{2},\cdots ,b_{n}]\)的点积定义为： \[ \vec{a}\cdot \vec{b} = \sum_{i=1}^n a_ib_i = a_1b_1 + a_2b_2 + \cdots + a_nb_n \] 点积还可以写为向量积的形式（注意这里的向量都是行向量，很多文章中默认向量是列向量）： \[{\vec{a}}\cdot {\vec{b}}={\vec{a}}{\vec{b}}^{T} \] 几何角度，在欧几里得空间中，点积可以直观地定义为 \[\vec{a} \cdot \vec{b} = |\vec{a}| \, |\vec{b}| \cos \theta \;\] 这里\(|\vec{x}|\) 表示\(\vec{x}\)的模（长度），\(\theta\)表示两个向量之间的角度。 性质 基本运算规则 满足交换律。\({\vec {a}}\cdot {\vec {b}}={\vec {b}}\cdot {\vec {a}}\) 对向量加法满足分配律。\(\vec{a} \cdot (\vec{b} + \vec{c}) = \vec{a} \cdot \vec{b} + \vec{a} \cdot \vec{c}\) 点积是双线性算子。\({\vec {a}}\cdot (r{\vec {b}}+{\vec {c}})=r({\vec {a}}\cdot {\vec {b}})+({\vec {a}}\cdot {\vec {c}})\) 在乘以标量时满足：\((c_1\vec{a}) \cdot (c_2\vec{b}) = (c_1c_2) (\vec{a} \cdot \vec{b})\) 不满足结合律！不满足结合律！不满足结合律！ 正交性：两个非零向量\(\vec{a}\)和\(\vec{b}\)是正交的，当且仅当\({\vec{a}}\cdot {\vec{b}}=0\) 空间关系 线性空间+点积=内积空间。 内积空间必为线性赋范空间，但线性赋范空间不一定是内积空间，因为可以通过点积定义范数，但是单单范数无法引入角度概念，定义不了内积。 内积空间+完备性=希尔伯特空间 内积与投影 欧氏空间中向量\(\vec A\)在向量\(\vec B\)上的标量投影是指 \[ \vec A_B=|\vec A|\cos\theta \] 这里\(\theta\)是\(\vec A\)和\(\vec B\)的夹角。从点积的几何定义\(\vec A\cdot\vec B=|\vec{A}||\vec{B}|\cos\theta\)不难得出，两个向量的点积：\(\vec A\cdot\vec B\)可以理解为向量\(\vec A\)在向量\(\vec B\)上的投影再乘以\(\vec B\)的长度。 ![内积与投影.gif(/images/内积与投影.gif) 内积的推广 传统的内积定义环境都是实数线性空间，如欧几里得空间，然而内积不仅仅可以定义在实数线性空间上，还可以定义在其他空间，同时满足已有的内积性质。 复数的内积 复数内积与实数内积的区别就是做二者乘法的时候需要加共轭，如果不加共轭，内积的性质就会变得完全不一样： \[ \vec{a} \cdot \vec{b} =\sum _{i}{{a_{i}}\,{\overline {b_{i}}}} \] 其中，\({\overline {b_{i}}}\)表示\(b_i\)的共轭。写出向量乘积形式为： \[ \vec{a} \cdot \vec{b} =\vec{b} ^{\mathsf {H}}\vec{a} \] 相应的，两个复向量的夹角\(\theta\)也定义为： \[ \cos \theta ={\frac {\operatorname {Re} (\vec{a} \cdot \vec{b} )}{\|\vec{a}\| \|\vec{b}\|}}. \] 矩阵的内积 矩阵具有弗罗比尼乌斯内积，可以类比于向量的内积。它被定义为两个相同大小的矩阵\(\mathbf {A}\)和\(\mathbf {B}\)的对应元素的内积之和。 复矩阵情况下： \[ \mathbf {A} :\mathbf {B} =\sum_{i}\sum_{j}A_{ij}{\overline {B_{ij}}}=\mathrm {tr} (\mathbf {B} ^{\mathrm {H} }\mathbf {A} )=\mathrm {tr} (\mathbf {A} \mathbf {B} ^{\mathrm {H} }) \] 实矩阵情况下： \[ \mathbf {A} :\mathbf {B} =\sum_{i}\sum_{j}A_{ij}B_{ij}=\mathrm {tr} (\mathbf {B} ^{\mathrm {T} }\mathbf {A} )=\mathrm {tr} (\mathbf {A} \mathbf {B} ^{\mathrm {T} })=\mathrm {tr} (\mathbf {A} ^{\mathrm {T} }\mathbf {B} )=\mathrm {tr} (\mathbf {B} \mathbf {A} ^{\mathrm {T} }) \] 函数的内积 函数内积是离散维度往连续维度的延拓。内积的核心过程是对应元素求积再累加。对于可积且平方可积（平方可积是为了\(f(x)=g(x)\)情形）函数例如\(f(x),g(x)\)而言，对应元素求积好办，只要二者相乘\(f(x)g(x)\)就行，离散场景的求和进入到连续场景就是求积分，因此我们可以将函数的内积定义为： \[ <f(x),g(x)>=\int f(x)g(x)\mathrm{d}x \] 然而，到这里还没有结束。我们在内积的时累加指的是所有维度的累加，而函数的所有维度是什么呢？是它的定义域\(\mathbf{D}\)，因此我们还要在上述积分中添加积分域： \[ <f(x),g(x)>=\int_{\mathbf{D}} f(x)g(x)\mathrm{d}x \] 注意，这里要求两个函数必须可积且平方可积。容易验证，函数内积的定义也满足传统内积的性质。 从内积角度理解傅里叶级数 我们在笔记线性代数与矩阵之理解向量、线性变换与矩阵乘法了解到，空间中任意向量都可以拆解成空间中一组基来表示，如果这组基是标准正交基是最好了。那么，自变量\(x\)所有函数组成的集合是不是也是一种空间呢？答案是肯定的。 既然所有的函数组成了一个空间，那么我们是否也能找到一组标准正交基呢？傅里叶用傅里叶级数和傅里叶变换给我们答案。我们可以对任意函数做傅里叶展开，得到表达式： \[ f(x)=a_0+a_1 \cos x+b_1\sin x+a_2 \cos 2x+b_2\sin 2x+\dotsb \] 与之前的有限个标准正交向量组成的正交矩阵不同，这个空间是无限维，它的一组基是\(1，\cos x，\sin x，\cos 2x，\sin 2x\dotsb\)。我们计算基的任意两个分量，可验证其正交性： \[ \int_0^{2\pi}\sin mx\cos nx \mathrm{d}x=0(n\neq m) \] 我们知道，在基分量上的系数等于在其上的投影大小，因此采用和标准正交基相似的内积运算可以得到傅里叶变换的参数。我们以\(a_1\)为例： \[ \begin{aligned} <f(x),\cos x>&=\int_0^{2\pi} f(x) \cos x\mathrm{d}x\\ &=\int_0^{2\pi} (a_0+a_1 \cos x+b_1\sin x+a_2 \cos 2x+b_2\sin 2x+\dotsb) \cos x\\ &=0+\int_0^{2\pi} a_1 \cos^2 x\mathrm{d}x+0+0+\dotsb\\ &=a_1\pi \end{aligned} \] 可以得到\(a_1=\frac{1}{\pi}<f(x),\cos x>=\frac{1}{\pi}\int_0^{2\pi} f(x) \cos x\mathrm{d}x\)，同理可以求得其它参数。我们这样就得到了一组傅里叶基下的函数表示形式。也就是说傅里叶级数的系数是函数在\(\cos nx\)与\(\sin nx\)上的投影。 当函数\(f(x)\)是周期函数时，我们可以采用最小周期与函数相同的三角函数作为基的开始，然后其他的基周期分别为函数周期的\(1/2,1/3,\dotsb,1/n,\dotsb\)。当函数从周期函数变成非周期函数时，我们可以当成是周期无穷的周期函数，此时三角函数的间隔就会趋于0，函数的基也从离散无穷变成连续无穷，即由傅里叶级数变成傅里叶编号。