强化学习中的查表法只适用于规模较小的问题。生活中有许多实际问题要复杂得多，有些是属于状态数量巨大甚至是连续的，有些行为数量较大或者是连续的。因此需要用价值函数近似求解那些状态数量多或者是连续状态的强化学习问题。

其实可以把MC、TD都理解成DP的一种近似，只不过降低了计算复杂度以及削弱了对环境模型完备性的假设。动态规划的使用条件：……

在概率论及统计学中，马尔可夫过程（英语：Markov process）是一个具备了马尔可夫性质的随机过程，因为俄国数学家安德雷·马尔可夫得名。马尔可夫过程是不具备记忆特质的（memorylessness）。

转自Matrix67的博客《什么是P问题、NP问题和NPC问题》。这或许是众多OIer最大的误区之一。你会经常看到网上出现“这怎么做，这不是NP问题吗”、“这个只有搜了，这已经被证明是NP问题了”之类的话。你要知道，大多数人此时所说的NP问题其实都是指的NPC问题。他们没有搞清楚NP问题和NPC问题的概念。

贪心算法通常是自顶向下设计的。也需要具有最优子结构。贪心算法也是一种启发式算法，并不能一定保证是最优解。从动态规划到贪心算法的转化中，我们通常经理如下步骤：……

来自：https://blog.csdn.net/so_geili/article/details/53353593 版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

假设检验问题：总体分布未知：对总体分布的“某种推断”--》“假设”：分布类型未知：非参数假设，例如假设服从正态分布，均匀分布……这类一般很难。参数未知：参数假设。假设检验：通过抽样的样本进行对假设进行检验：参数的假设检验（重点）非参数的假设检验

统计推断三大内容：抽样分布、参数估计（点估计、区间估计）与假设检验。参数估计的核心思想：用抽样出来的样本构造函数（统计量）来尝试近似实际分布的参数。

最大似然估计是参数点估计中非常常用且有效的估计方法，本文对其相关性质进行拓展介绍，包括渐进正态性，一致最小方差无偏估计，C-R界以及存在隐变量时采用的EM算法。

蒙特卡洛简称MC，本质是随机抽样。蒙特卡洛求定积分。