一般形式的約束優化問題是：

有以下相關概念：

1. 可行域——滿足約束條件的x的集合

2.x點的有效約束——在x點等號成立的約束

3.可行方向

在x*處的可行方向的集合記為FD(x*,X)

4.線性化可行方向

在x*處的線性化可行方向的集合記為LFD(x*,X)

5.序列可行方向

在x*處的線序列可行方向的集合記為SFD(x*,X)

幾個約束規範條件：

1.約束規範條件（CQ）：LFD(x*,X)=SFD(x*,X)

2.線性函數約束規範條件（LFCQ）：所有的約束函數都是線性函數

3.線性無關約束規範條件（LICQ）：約束函數的梯度線性無關

可以證明：線性函數約束規範條件或線性無關約束規範條件成立，則約束規範條件成立

約束優化的一階最優條件稱為kkt條件：

kkt條件從上到下依次稱為：駐點條件、可行性條件、可行性條件、乘子非負條件、互補松弛條件

相應的，有kkt定理：如果約束規範條件滿足，則存在λ_i^*(i=1,2,...,m)，使得kkt條件成立

與kkt條件有密切聯系的一個函數是Lagrange函數：

關於約束優化問題，還有幾個一階和二階最有條件：

首先定義LFD的子集F₂：

一階最優性充分條件：

二階最優性必要條件：

二階最優性充分條件：

約束優化方法