拟凸函数：我也有全局最小值呦~~

拉格朗日乘子法（Lagrange Multiplier) 和KKT条件是求解有约束优化问题非常重要的两个求取方法。对于等式约束的优化问题，可以应用拉格朗日乘子法去求取最优值；如果含有不等式约束，可以应用KKT条件去求取。

牛顿法和梯度下降法都是求解非线性无约束最优化问题的常用方法，但是效果速度比梯度法更好（但是计算量增加了，需要二阶信息）。牛顿法是迭代算法，每一步需要求解目标函数的 Hessian 矩阵的逆矩阵，计算过程复杂。

梯度下降法与牛顿法是求解最小值/优化问题的两种经典算法。本文的目标是介绍两种算法的推导思路与流程，并且从初学者的角度就一些容易混淆的话题如……

众所周知，最小二乘法通过最小化误差平方和获得最佳函数。有时候你可能产生疑问，为什么不能通过其他方式获得最优函数，比如说最小化误差的绝对值的和？本文中，我将会从概率的角度解释最小二乘法的依据（参考自andrew ng 《机器学习课程》 第三讲）。

前面用单纯形法求解问题(2.1)(2.1)时，往往需要引进人工变量，通过解一阶段问题求初始基本可行解。现在利用对偶性质给出一种不需引进人工变量的求解方法，这就是对偶单纯形法。为介绍这种方法的基本思想，先引入对偶可行的基本解的概念。

我们需要指出的是，函数并没有指出在可行域内有最优解。即使有最优解，也未必在可行域内。因此，我们需要明确哪些情况最优解是一定存在的。

对偶问题的表达：（1）对称形式的对偶，（2）非对称形式的对偶，（3）一般情形，对偶问题的对偶是原问题；对偶规划的一般规则（重要）