概率统计随机过程之马尔可夫过程 May 9, 2021 · 概率统计随机过程 · 分享到: 概率统计随机过程之马尔可夫过程 概论 在概率论及统计学中，马尔可夫过程（英语：Markov process）是一个具备了马尔可夫性质的随机过程，因为俄国数学家安德雷·马尔可夫得名。马尔可夫过程是不具备记忆特质的（memorylessness）。换言之，马尔可夫过程的条件概率仅仅与系统的当前状态相关，而与它的过去历史或未来状态，都是独立、不相关的。 具备离散状态的马尔可夫过程，通常被称为马尔可夫链。马尔可夫链通常使用离散的时间集合定义，又称离散时间马尔可夫链。有些学者虽然采用这个术语，但允许时间可以取连续的值。 马尔可夫过程根据时间与状态空间的连续性可分为下表所示 可数或有限的状态空间 连续或一般的状态空间 离散时间 在可数且有限状态空间下的马尔可夫链 Harris chain (在一般状态空间下的马尔可夫链) 连续时间 Continuous-time Markov process 任何具备马尔可夫性质的连续随机过程，例如维纳过程 注：连续时间马尔可夫过程基本就是几何分布或者指数分布过程。 马尔可夫性质 马尔可夫性质：当一个随机过程在给定现在状态及所有过去状态情况下，其未来状态的条件概率分布仅依赖于当前状态；换句话说，在给定现在状态时，它与过去状态（即该过程的历史路径）是条件独立的，那么此随机过程即具有马尔可夫性质。 数学上，如果\(X(t),t>0\)为一个随机过程，则马尔可夫性质就是指 \[ {\mathrm{Pr}}{\big [}X(t+h)=y\,|\,X(s)=x(s),s\leq t{\big ]}={\mathrm {Pr}}{\big [}X(t+h)=y\,|\,X(t)=x(t){\big ]},\quad \forall h>0. \]