强化学习中的查表法只适用于规模较小的问题。生活中有许多实际问题要复杂得多，有些是属于状态数量巨大甚至是连续的，有些行为数量较大或者是连续的。因此需要用价值函数近似求解那些状态数量多或者是连续状态的强化学习问题。

其实可以把MC、TD都理解成DP的一种近似，只不过降低了计算复杂度以及削弱了对环境模型完备性的假设。动态规划的使用条件：……

Valued-based / policy-based / A3C=A+C;Model based / Model free;回合更新（蒙特卡洛） / 时间差分（步更新）;On-policy / off-policy;稳态和非稳态;全部可观测MDP / 部分可观测

tochastic MAB(stationary random rewards MAB)；non-stochastic MAB(Adversarial Bandits) 对抗性质，有对手会改变每个臂的收益，根据对手是否与玩家独立可分为oblivious和non-oblivious两种

explore and exploit；Delayed reward；Time critical(时间处理实现)；Agent actor稳定提升