这是一篇介绍数学优化（Mathematical Optimization）的理论基础和应用背景的文章。
0 概述
数学优化问题或称优化问题可以写成如下形式
\text{minimize} \quad \ f_0(x)\\
\hspace{2em} \text{subject to} \quad f_i(x) \leq b_i \tag{1.1}
其中，向量x=(x_1, \ldots, x_n)称为问题的优化变量，函数f_0: \textbf{R}^n \rightarrow \textbf{R}称为目标函数，函数f_i:\textbf{R}^n \rightarrow \textbf{R}, i = 1, \ldots, m，被称为（不等式）约束函数，常数b_1,\ldots, b_m称为约束上限或者约束边界。如果在所有满足约束的向量中x^*对应的目标函数值最小，称x^*为问题(1.1)的最优解或者解。
在不同的教科书中，对于优化问题的定义存在不同形式，比如目标函数、等式和不等式约束函数在符号上的区分，这取决于作者想从什么样的视角对优化问题进行描述，即是否需要明确区分目标函数和约束（后续我们会知道，目标函数以及其相应的约束是可以相互结合和转化的）。