在学习广义线性模型的时候，其各种模型都可以通过指数型分布族的形式来表示，而指数型分布族可以给出求原始分布均值和方差的统一形式，这在机器学习、数理统计中有重要作用。指数型分布族是指数分布族的推广，囊括了正态分布族、二项分布族、伽马分布族、多项分布族常见分布等等。

统计量通过构造函数把分散在样品中的反应总体的信息按人们的要求提取出来。需要强调的是由于样本是N维随机变量，因此其构造的函数（统计量）也是随机变量（大多数是一维）。我们通过观测，得到样本观察值后，立即可算得统计量的值。

为什么要引入母函数、特征函数（矩母函数）？因为它们是处理概率论问题的有力工具。它们能把寻求独立随机变量法和的分布的卷积运算（积分运算）转换成函数的乘法运算，还能把求分布的各阶原点矩运算变成函数的微分运算，特别的，它能把寻求随机变量序列的极限分布转换成一般的函数极限问题。

在数学与统计学中，大数定律又称大数法则、大数律，是描述相当多次数重复实验的结果的定律。这个定律核心是，样本数量越多，则其算术平均值就有越高的概率接近期望值。为它“说明”了一些随机事件的均值的长期稳定性。

正态分布表达式形式的出现，高斯——误差与正态分布 赫歇尔和麦克斯韦——正态分布π从哪里来？为什么正态分布那么普遍？——稳定性。

写在最前面：在随机变量的学习中，我们一定要明确知晓，概率分布函数和随机变量的定义密切相关。概率密度函数是概率分布函数的衍生结论，因此，我们在处理问题时优先考虑概率分布函数。

在概率论及统计学中，马尔可夫过程（英语：Markov process）是一个具备了马尔可夫性质的随机过程，因为俄国数学家安德雷·马尔可夫得名。马尔可夫过程是不具备记忆特质的（memorylessness）。

假设检验问题：总体分布未知：对总体分布的“某种推断”--》“假设”：分布类型未知：非参数假设，例如假设服从正态分布，均匀分布……这类一般很难。参数未知：参数假设。假设检验：通过抽样的样本进行对假设进行检验：参数的假设检验（重点）非参数的假设检验

统计推断三大内容：抽样分布、参数估计（点估计、区间估计）与假设检验。参数估计的核心思想：用抽样出来的样本构造函数（统计量）来尝试近似实际分布的参数。

最大似然估计是参数点估计中非常常用且有效的估计方法，本文对其相关性质进行拓展介绍，包括渐进正态性，一致最小方差无偏估计，C-R界以及存在隐变量时采用的EM算法。