两阶段法核心思想 第一阶段：每个方程增加一个系数为1的非负人工变量，这些人工变量组成单位矩阵，可求出一组拓展的基本可行解。接下来用消主元法消去所有添加的人工变量（使人工变量都是非基变量取0，不必遵守单纯形法的主元选择规则），剩下……

定理只能保证最小值存在，没有建立最小值和极小值之间的关系。但是，对于一类特殊的函数，它在一定区域内的极小值一定是最小值，这类函数即凸函数。凸函数为定义在凸区间上的一种函数，它满足任意……

证明链条：凸集与超平面->凸集分离定理->Farkas引理>Gordan定理和择一性定理->Kuhn-Tucker条件

本文讨论需要优化的函数都是单峰函数（或单谷函数）。在最优化(optimization)问题中，线搜索(line search)和置信域(trust region)方法是寻找局部最小值(local minimum)基本迭代方法(iterative approach)。

精确一维搜索方法往往需要花费很大的时间，特别当迭代点远离问题的解时，精确求解通常不十分有效。另外，实际上很多最优化方法，如牛顿法和拟牛顿法，其收敛速度并不依赖于精确一维搜索过程。

摘自：https://www.longzf.com/optimization/2/line_search/一维优化技术又称为线性搜索技术。因为一维空间直观的表现就是一条直线，而在这条线上找最优值，就是线性搜索。

Valued-based / policy-based / A3C=A+C;Model based / Model free;回合更新（蒙特卡洛） / 时间差分（步更新）;On-policy / off-policy;稳态和非稳态;全部可观测MDP / 部分可观测