时间序列分析（Time-Series Analysis）是统计与随机过程中常用的场景，在机器学习、强化学习的预测中也有重要地位，本笔记介绍时间序列分析的基本概念和指标，记录对时序分析的基本理解。

在机器学习中，我们常常是从线性回归和Logistics回归这两种模型入手。大多数人在学的时候时将其当成两个独立的模型去学习的，线性回归用来拟合直线，Logistics回归用来分类。实际上，这两种模型都是一个更广泛模型的特例，这就是广义线性模型（Generalized Linear Models, 简称GLM）。

我们在对称矩阵的基础上定义了正定、半正定、负定、半负定的概念，并引入二次型，其与最大最小值相关。最后我们简介了矩阵的合同。

特征值与特征向量是线性代数与矩阵中非常重要且深刻的两个概念，然而我当年在学习的时候基本上只学会了如何计算特征值和特征向量，对他们的意义、由来、用法不求甚解，很长一段时间都不知为什么会引入这两个奇怪的东西。当再次看到这二者时，我觉得还是记录下一些想法，必备后用。

本笔记将系统的介绍矩阵中正交的相关概念，包括正交向量（组），正交矩阵以及酉矩阵、施密特正交化以及矩阵的QR分解等。

在《线性代数与矩阵之四类空间》笔记中，我们提到了四个空间与方程的可解性，讨论的都是解存在以及解系的情况。那如果$Ax=b$这个线性方程组中，解不存在怎么办？这就需要投影这一概念。

对于一个$m×n$的矩阵$A$皆有四类空间，即矩阵的列向量组成的列空间（Column Space）、矩阵行向量组成的行空间（Row Space）、零空间（Null Space）以及左零空间（Left Null Space）。

逆矩阵，是线性代数和矩阵分析中非常常见也是非常关键的一个问题。本笔记将根据自己常遇到的逆矩阵相关问题，整理有关逆矩阵定义、常用求法、存在条件以及常用性质等相关内容，并对广义逆做简单介绍。

Cramer-Rao不等式是另一个判别无偏估计是否为UMVUE的方法。此外，C-R不等式还有其他一些用处，比如计算估计的效率、有效估计等等。C-R还有更深层的意义：C-R不等式告诉我们，无论我们如何抽样充足，无论我们统计方法如何科学，我们对参数的估计值，永远不可能无限逼近是逻辑上的真实值！

注意（X|Y）的条件期望实际上是关于Y的函数，而重期望公式则与分区加权求和有着本质联系，提供了求X期望的另一种方式。