精确一维搜索方法往往需要花费很大的时间，特别当迭代点远离问题的解时，精确求解通常不十分有效。另外，实际上很多最优化方法，如牛顿法和拟牛顿法，其收敛速度并不依赖于精确一维搜索过程。

摘自：https://www.longzf.com/optimization/2/line_search/一维优化技术又称为线性搜索技术。因为一维空间直观的表现就是一条直线，而在这条线上找最优值，就是线性搜索。

Valued-based / policy-based / A3C=A+C;Model based / Model free;回合更新（蒙特卡洛） / 时间差分（步更新）;On-policy / off-policy;稳态和非稳态;全部可观测MDP / 部分可观测

tochastic MAB(stationary random rewards MAB)；non-stochastic MAB(Adversarial Bandits) 对抗性质，有对手会改变每个臂的收益，根据对手是否与玩家独立可分为oblivious和non-oblivious两种

explore and exploit；Delayed reward；Time critical(时间处理实现)；Agent actor稳定提升

本文首先查看了多种梯度下降算法，并总结了数据训练过程中遇到的挑战。接下来，我们介绍了最常用的梯度优化算法，并指出它们做出这些算法优化的缘由。我们还会简要的说明如何在并行与分布式场景下优化梯度下降算法。最后，我们会追加一些优化梯度下降算法的有用策略

上一篇文章我们理解到了Adagrad算法，即一个逐渐降低学习率的算法。它带来一个弊端，学习率可能过早的太小，以致于离最优点还很远就收敛了。因此有人提出了RMSprop算法来缓解这个问题，我们这篇文章从这里开始讲起。

梯度是向量，是输入空间的向量。其方向指向函数值上升最快的方向，模是值函数的陡峭程度。模越大，越陡峭。方向导数是标量，指函数值沿着某一方向的变换率。