tochastic MAB(stationary random rewards MAB)；non-stochastic MAB(Adversarial Bandits) 对抗性质，有对手会改变每个臂的收益，根据对手是否与玩家独立可分为oblivious和non-oblivious两种

explore and exploit；Delayed reward；Time critical(时间处理实现)；Agent actor稳定提升

本文首先查看了多种梯度下降算法，并总结了数据训练过程中遇到的挑战。接下来，我们介绍了最常用的梯度优化算法，并指出它们做出这些算法优化的缘由。我们还会简要的说明如何在并行与分布式场景下优化梯度下降算法。最后，我们会追加一些优化梯度下降算法的有用策略

上一篇文章我们理解到了Adagrad算法，即一个逐渐降低学习率的算法。它带来一个弊端，学习率可能过早的太小，以致于离最优点还很远就收敛了。因此有人提出了RMSprop算法来缓解这个问题，我们这篇文章从这里开始讲起。

梯度是向量，是输入空间的向量。其方向指向函数值上升最快的方向，模是值函数的陡峭程度。模越大，越陡峭。方向导数是标量，指函数值沿着某一方向的变换率。

泰勒公式的余项有两类：一类是定性的皮亚诺余项，另一类是定量的拉格朗日余项。这两类余项本质相同，但是作用不同。一般来说，当不需要定量讨论余项时，可用皮亚诺余项（如求未定式极限及估计无穷小阶数等问题）；当需要定量讨论余项时，要用拉格朗日余项（如利用泰勒公式近似计算函数值）

最常见的群之一是整数集Z和整数的加法所构成的群。群有四个公理。以上面的加法群为例。如下：封闭性： 对于任何两个整数a和b，它们的和a+b也是整数。换句话说，在任何时候，把两个整数相加都能得出整数的结果。这个性质叫做在加法下封闭……

统计/估计概念（方差、标准差、均方误差、均方根误差、平均绝对误差、协方差等等）概念总结与区别表格。

所谓的四次阶乘（又称四重阶乘） 不是$n!^{(4)}$，而是$(2n)!/n!$,前几个四次阶乘为

函数的导数导致了图像中出现了几种点，现在详细理一下：驻点，极值点，鞍点，拐点。