拉格朗日乘数

在数学中的最优化问题中，拉格朗日乘数法（英语：Method of Lagrange multiplier，以数学家约瑟夫·拉格朗日命名）是一种寻找多元函数在其变量受到一个或多个条件的约束时的局部极值的方法。

方法说明

对一个有 $n$ 个变量与 $k$ 个约束条件的最优化问题，拉格朗日乘数法会将其转换成一个 $n+k$ 个变量的方程组，称作拉格朗日方程（英语：Lagrange function），这个方程组的解将包括所有最优化问题的解。拉格朗日乘数法将会引入一个或一组新的未知数，即拉格朗日乘数（英语：Lagrange multiplier），又称拉格朗日乘子，或拉氏乘子，它们是在转换后的方程，即约束方程中作为梯度的线性组合中各个向量的系数。

比如，求 $f(x,y)$ 在 $g(x,y)=0$ 时的局部极值时，我们可以引入新变量拉格朗日乘数 $\lambda$ ，这时我们只需要求下列拉格朗日函数的局部极值：

{\mathcal {L}}(x,y,\lambda )=f(x,y)-\lambda \cdot g(x,y)

更一般地，对含n个变量和k个约束的情况，有：

{\mathcal {L}}\left(x_{1},\ldots ,x_{n},\lambda _{1},\ldots ,\lambda _{k}\right)=f\left(x_{1},\ldots ,x_{n}\right)-\sum \limits _{i=1}^{k}{\lambda _{i}g_{i}\left(x_{1},\ldots ,x_{n}\right)},

拉格朗日乘数法所得的临界点会包含原问题的所有临界点，但并不保证每个拉格朗日乘数法所得的临界点都是原问题的临界点。拉格朗日乘数法的正确性的证明牵涉到偏微分，全微分或链式法则。

介绍

微积分中最常见的问题之一是求一个函数的极大极小值（极值）。但是很多时候找到极值函数的显式表达是很困难的，特别是当函数有先决条件或约束时。拉格朗日乘数则提供了一个非常便利方法来解决这类问题，而避开显式地引入约束和求解外部变量。

先看一个三维的例子：假设有函数： $f(x,y)$ ，要求其极值（最大值/最小值），且满足条件

g\left(x,y\right)=c

c为常数。对不同 $d_{n}$ 的值，不难想像出

f\left(x,y\right)=d_{n}

的等高线。而方程 $g$ 的可行集所构成的线正好是 $g(x,y)=c$ 。想像我们沿着 $g=c$ 的可行集走；因为大部分情况下 $f$ 的等高线和 $g$ 的可行集线不会重合，但在有解的情况下，这两条线会相交。想像此时我们移动 $g=c$ 上的点，因为 $f$ 是连续的方程，我们因此能走到 $f\left(x,y\right)=d_{n}$ 更高或更低的等高线上，也就是说 $d_{n}$ 可以变大或变小。只有当 $g(x,y)=c$ 和 $f\left(x,y\right)=d_{n}$ 相切，也就是说，此时，我们正同时沿着 $g(x,y)=c$ 和 $f\left(x,y\right)=d_{n}$ 走。这种情况下，会出现极值或鞍点。

气象图中就很常出现这样的例子，当温度和气压两列等高线同时出现的时候，切点就意味着约束极值的存在。

用向量的形式来表达的话，我们说相切的性质在此意味着 $f$ 和 $g$ 的切线在某点上平行，同时也意味着两者的梯度向量有如下关系（引入一个未知标量 $\lambda$ ）：

\nabla f\left(x,y\right)=-\lambda \nabla \left(g\left(x,y\right)-c\right)

即：

\nabla {\Big [}f\left(x,y\right)+\lambda \left(g\left(x,y\right)-c\right){\Big ]}={\boldsymbol {0}}

.

一旦求出 $\lambda$ 的值，将其套入下式，易求在无约束条件下的极值和对应的极值点。

F\left(x,y,\lambda \right)

=

f\left(x,y\right)+\lambda \left(g\left(x,y\right)-c\right)

新方程 $F(x,y,\lambda )$ 在达到极值时与 $f(x,y)$ 相等。因为 $F(x,y,\lambda )$ 达到极值时 $\nabla F(x,y,\lambda )=0$ ，而 ${\frac {\partial F}{\partial \lambda }}=g\left(x,y\right)-c$ ，也就是说 $g(x,y)-c$ 等于零。