如果你只会看别人的博客，而不自己写，你应该感到羞愧。
objective, variables, constraints
建立好模型后，就需要一个优化算法。 目前没有通用的算法，只有对应各自特定领域的算法
检测当前变量是否是问题的解，如果不是该如何改进。
改变模型或训练数据时，解的敏感程度
x 参数，f(x) 目标函数，c 约束(x需要满足) 则最优化问题描述如下：
可行域feasible region，即图中非阴影区域 等高线contours x*为问题的最优解，x*为目标函数达到可行域内的最小值的解 该最优化问题用矩阵描述为：
未知参数为整数而不是实数，则称为离散优化。因为整数是离散的，实数是连续的 许多离散优化算法包含一系列连续优化
对未知参数是否有约束
许多全局优化算法包含一系列的局部优化
许多随即优化算法包含一系列的确定性优化
优化算法都是迭代的。优化算法就是利用f、c以及f、c对x的一阶、二阶导数进行迭代。 不同的优化算法区别在于迭代策略的不同，比如有的利用先前迭代的所有信息，而有的只利用当前迭代的信息。有的利用一阶导，有的利用二阶导。 好的优化算法：鲁棒性、效率、准确性 鲁棒性：不同的初始点最后都有很好的收敛性 效率：不需要太多计算时间或存储 准确性：迭代结果准确
优化也称数学规划，规划programming不是编程programming，其实该单词用于数学规划早于计算机编程。
z = f(x,y)
函数的表示： 可以用三维表示，即三轴分别为x y z 可以用二维表示，两轴为x y，颜色表示z的大小 可以用等高线，两轴为x y，闭合曲线表示z相等
梯度： 梯度是一个向量，(∂f/∂xi, ∂f/∂yi)，在(xi,yi)处 沿该向量方向的函数导数是最大的，导数的值等于梯度的模 所以函数沿着梯度方向导数最大，沿着梯度的反方向导数最小
等高线： z = f(x,y) z=c 用平面去截取z = f(x,y)得到的曲线即为等高线，等高线可画出无数条
等高线举例： 比如用z=1即可截出一条等高线
二元隐函数的求导： z=f(x,y) z=c 则 f(x,y) - c = 0 表示等高线 等高线法线的斜率为 梯度方向为fx/fy
导数与方向导数： 两者都是标量 一元函数一点处的切线，y=kx，k称为斜率也就是导数 导数是一元函数中的概念，方向导数是多元函数中的概念。即此时一点处不同方向会有不同的导数。一点处梯度的模与方向表示该点处最大的方向导数的值与方向
梯度： 是一个向量 一元函数的梯度为 k i 二元函数的梯度为 ∂f/∂x i + ∂f/∂y j 也可写作 fx i + fy j
向量方向的表示： x i + y j 角度 arctan(y/x) 比值 y/x 这两种方式都可表示方向
参考：https://www.wanweibaike.com/wiki-梯度下降 参考：https://blog.csdn.net/a6333230/article/details/81220252
