演算法複雜度——時間複雜度和空間複雜度
阿新 • • 發佈：2019-01-05
1、時間複雜度
（1）時間頻度 一個演算法執行所耗費的時間，從理論上是不能算出來的，必須上機執行測試才能知道。但我們不可能也沒有必要對每個演算法都上機測試，只需知道哪個演算法花費的時間多，哪個演算法花費的時間少就可以了。並且一個演算法花費的時間與演算法中語句的執行次數成正比例，哪個演算法中語句執行次數多，它花費時間就多。一個演算法中的語句執行次數稱為語句頻度或時間頻度。記為T(n)。
（2）時間複雜度 在剛才提到的時間頻度中，n稱為問題的規模，當n不斷變化時，時間頻度T(n)也會不斷變化。但有時我們想知道它變化時呈現什麼規律。為此，我們引入時間複雜度概念。 一般情況下，演算法中基本操作重複執行的次數是問題規模n的某個函式，用T(n)表示，若有某個輔助函式f(n),使得當n趨近於無窮大時，T（n)/f(n)的極限值為不等於零的常數，則稱f(n)是T(n)的同數量級函式。記作T(n)=Ｏ(f(n)),稱Ｏ(f(n)) 為演算法的漸進時間複雜度，簡稱時間複雜度。
在各種不同演算法中，若演算法中語句執行次數為一個常數，則時間複雜度為O(1),另外，在時間頻度不相同時，時間複雜度有可能相同，如T(n)=n2+3n+4與T(n)=4n2+2n+1它們的頻度不同，但時間複雜度相同，都為O(n2)。 按數量級遞增排列，常見的時間複雜度有：常數階O(1),對數階O(log2n),線性階O(n), 線性對數階O(nlog2n),平方階O(n2)，立方階O(n3),...， k次方階O(nk),指數階O(2n)。隨著問題規模n的不斷增大，上述時間複雜度不斷增大，演算法的執行效率越低。 2、空間複雜度 與時間複雜度類似，空間複雜度是指演算法在計算機內執行時所需儲存空間的度量。記作: S(n)=O(f(n)) 我們一般所討論的是除正常佔用記憶體開銷外的輔助儲存單元規模。討論方法與時間複雜度類似，不再贅述。
（3）漸進時間複雜度評價演算法時間效能 主要用演算法時間複雜度的數量級(即演算法的漸近時間複雜度)評價一個演算法的時間效能。
【例3．7】有兩個演算法A1和A2求解同一問題，時間複雜度分別是T1(n)=100n2，T2(n)=5n3。
（1）當輸入量n＜20時，有T1(n)＞T2(n)，後者花費的時間較少。
（2）隨著問題規模n的增大，兩個演算法的時間開銷之比5n3/100n2=n/20亦隨著增大。即當問題規模較大時，演算法A1比演算法A2要有效地多。它們的漸近時間複雜度O(n2)和O(n3)從巨集觀上評價了這兩個演算法在時間方面的質量。在演算法分析時，往往對演算法的時間複雜度和漸近時間複雜度不予區分，而經常是將漸近時間複雜度T(n)=O(f(n))簡稱為時間複雜度，其中的f(n)一般是演算法中頻度最大的語句頻度。
【例3．8】演算法MatrixMultiply的時間複雜度一般為T(n)=O(n3)，f(n)=n3是該演算法中語句(5)的頻度。下面再舉例說明如何求演算法的時間複雜度。
【例3．9】交換i和j的內容。
Temp=i; i=j; j=temp; 以上三條單個語句的頻度均為1，該程式段的執行時間是一個與問題規模n無關的常數。演算法的時間複雜度為常數階，記作T(n)=O(1)。 如果演算法的執行時間不隨著問題規模n的增加而增長，即使演算法中有上千條語句，其執行時間也不過是一個較大的常數。此類演算法的時間複雜度是O(1)。
【例3．10】變數計數之一。
(1) x=0;y=0;
(2) for(k-1;k<=n;k++)
(3) x++;
(4) for(i=1;i<=n;i++)
(5) for(j=1;j<=n;j++)
(6) y++;
一般情況下，對步進迴圈語句只需考慮迴圈體中語句的執行次數，忽略該語句中步長加1、終值判別、控制轉移等成分。因此，以上程式段中頻度最大的語句是(6)，其頻度為f(n)=n2，所以該程式段的時間複雜度為T(n)=O(n2)。 當有若干個迴圈語句時，演算法的時間複雜度是由巢狀層數最多的迴圈語句中最內層語句的頻度f(n)決定的。
【例3．11】變數計數之二。
(1) x=1;
(2) for(i=1;i<=n;i++)
(3) for(j=1;j<=i;j++)
(4) for(k=1;k<=j;k++)
(5) x++;
該程式段中頻度最大的語句是(5)，內迴圈的執行次數雖然與問題規模n沒有直接關係，但是卻與外層迴圈的變數取值有關，而最外層迴圈的次數直接與n有關，因此可以從內層迴圈向外層分析語句(5)的執行次數： 則該程式段的時間複雜度為T(n)=O(n3/6+低次項)=O(n3)。 （4）演算法的時間複雜度不僅僅依賴於問題的規模，還與輸入例項的初始狀態有關。
【例3．12】在數值A[0..n-1]中查詢給定值K的演算法大致如下：
(1)i=n-1;
(2)while(i>=0&&(A[i]!=k))
(3) i--;
(4)return i;
此演算法中的語句(3)的頻度不僅與問題規模n有關，還與輸入例項中A的各元素取值及K的取值有關: ①若A中沒有與K相等的元素，則語句(3)的頻度f(n)=n； ②若A的最後一個元素等於K,則語句(3)的頻度f(n)是常數0。 （5）最壞時間複雜度和平均時間複雜度 最壞情況下的時間複雜度稱最壞時間複雜度。一般不特別說明，討論的時間複雜度均是最壞情況下的時間複雜度。 這樣做的原因是：最壞情況下的時間複雜度是演算法在任何輸入例項上執行時間的上界，這就保證了演算法的執行時間不會比任何更長。
【例3．19】查詢演算法
【例1·8】在最壞情況下的時間複雜度為T(n)=0(n)，它表示對於任何輸入例項,該演算法的執行時間不可能大於0(n)。
平均時間複雜度是指所有可能的輸入例項均以等概率出現的情況下，演算法的期望執行時間。
常見的時間複雜度按數量級遞增排列依次為：常數0(1)、對數階0(log2n)、線形階0(n)、線形對數階0(nlog2n)、平方階0(n2)立方階0(n3)、…、k次方階0(nk)、指數階0(2n)。顯然，時間複雜度為指數階0(2n)的演算法效率極低，當n值稍大時就無法應用。
2、類似於時間複雜度的討論，一個演算法的空間複雜度(Space Complexity)S(n)定義為該演算法所耗費的儲存空間，它也是問題規模n的函式。漸近空間複雜度也常常簡稱為空間複雜度。
空間複雜度(Space Complexity)是對一個演算法在執行過程中臨時佔用儲存空間大小的量度。一個演算法在計算機儲存器上所佔用的儲存空間，包括儲存演算法本身所佔用的儲存空間，演算法的輸入輸出資料所佔用的儲存空間和演算法在執行過程中臨時佔用的儲存空間這三個方面。演算法的輸入輸出資料所佔用的儲存空間是由要解決的問題決定的，是通過引數表由呼叫函式傳遞而來的，它不隨本演算法的不同而改變。儲存演算法本身所佔用的儲存空間與演算法書寫的長短成正比，要壓縮這方面的儲存空間，就必須編寫出較短的演算法。演算法在執行過程中臨時佔用的儲存空間隨演算法的不同而異，有的演算法只需要佔用少量的臨時工作單元，而且不隨問題規模的大小而改變，我們稱這種演算法是“就地\"進行的，是節省儲存的演算法，如這一節介紹過的幾個演算法都是如此；有的演算法需要佔用的臨時工作單元數與解決問題的規模n有關，它隨著n的增大而增大，當n較大時，將佔用較多的儲存單元，例如將在第九章介紹的快速排序和歸併排序演算法就屬於這種情況。
分析一個演算法所佔用的儲存空間要從各方面綜合考慮。如對於遞迴演算法來說，一般都比較簡短，演算法本身所佔用的儲存空間較少，但執行時需要一個附加堆疊，從而佔用較多的臨時工作單元；若寫成非遞迴演算法，一般可能比較長，演算法本身佔用的儲存空間較多，但執行時將可能需要較少的儲存單元。
一個演算法的空間複雜度只考慮在執行過程中為區域性變數分配的儲存空間的大小，它包括為引數表中形參變數分配的儲存空間和為在函式體中定義的區域性變數分配的儲存空間兩個部分。若一個演算法為遞迴演算法，其空間複雜度為遞迴所使用的堆疊空間的大小，它等於一次呼叫所分配的臨時儲存空間的大小乘以被呼叫的次數(即為遞迴呼叫的次數加1，這個1表不開始進行的一次非遞迴呼叫)。演算法的空間複雜度一般也以數量級的形式給出。如當一個演算法的空間複雜度為一個常量，即不隨被處理資料量n的大小而改變時，可表示為O(1)；當一個演算法的空間複雜度與以2為底的n的對數成正比時，可表示為0(10g2n)；當一個演算法的空I司複雜度與n成線性比例關係時，可表示為0(n).若形參為陣列，則只需要為它分配一個儲存由實參傳送來的一個地址指標的空間，即一個機器字長空間；若形參為引用方式，則也只需要為其分配儲存一個地址的空間，用它來儲存對應實參變數的地址，以便由系統自動引用實參變數。
對於一個演算法，其時間複雜度和空間複雜度往往是相互影響的。當追求一個較好的時間複雜度時，可能會使空間複雜度的效能變差，即可能導致佔用較多的儲存空間；反之，當=i自求一個較好的空間複雜度時，可能會使時間複雜度的效能變差，即可能導致佔用較長的執行時間。另外，演算法的所有效能之間都存在著或多或少的相互影響。因此，當設計一個演算法(特別是大型演算法)時，要綜合考慮演算法的各項效能，演算法的使用頻率，演算法處理的資料量的大小，演算法描述語言的特性，演算法執行的機器系統環境等各方面因素，才能夠設計出比較好的演算法。
（1）時間頻度 一個演算法執行所耗費的時間，從理論上是不能算出來的，必須上機執行測試才能知道。但我們不可能也沒有必要對每個演算法都上機測試，只需知道哪個演算法花費的時間多，哪個演算法花費的時間少就可以了。並且一個演算法花費的時間與演算法中語句的執行次數成正比例，哪個演算法中語句執行次數多，它花費時間就多。一個演算法中的語句執行次數稱為語句頻度或時間頻度。記為T(n)。
（2）時間複雜度 在剛才提到的時間頻度中，n稱為問題的規模，當n不斷變化時，時間頻度T(n)也會不斷變化。但有時我們想知道它變化時呈現什麼規律。為此，我們引入時間複雜度概念。 一般情況下，演算法中基本操作重複執行的次數是問題規模n的某個函式，用T(n)表示，若有某個輔助函式f(n),使得當n趨近於無窮大時，T（n)/f(n)的極限值為不等於零的常數，則稱f(n)是T(n)的同數量級函式。記作T(n)=Ｏ(f(n)),稱Ｏ(f(n)) 為演算法的漸進時間複雜度，簡稱時間複雜度。
在各種不同演算法中，若演算法中語句執行次數為一個常數，則時間複雜度為O(1),另外，在時間頻度不相同時，時間複雜度有可能相同，如T(n)=n2+3n+4與T(n)=4n2+2n+1它們的頻度不同，但時間複雜度相同，都為O(n2)。 按數量級遞增排列，常見的時間複雜度有：常數階O(1),對數階O(log2n),線性階O(n), 線性對數階O(nlog2n),平方階O(n2)，立方階O(n3),...， k次方階O(nk),指數階O(2n)。隨著問題規模n的不斷增大，上述時間複雜度不斷增大，演算法的執行效率越低。 2、空間複雜度 與時間複雜度類似，空間複雜度是指演算法在計算機內執行時所需儲存空間的度量。記作: S(n)=O(f(n)) 我們一般所討論的是除正常佔用記憶體開銷外的輔助儲存單元規模。討論方法與時間複雜度類似，不再贅述。
（3）漸進時間複雜度評價演算法時間效能 主要用演算法時間複雜度的數量級(即演算法的漸近時間複雜度)評價一個演算法的時間效能。
【例3．7】有兩個演算法A1和A2求解同一問題，時間複雜度分別是T1(n)=100n2，T2(n)=5n3。
（1）當輸入量n＜20時，有T1(n)＞T2(n)，後者花費的時間較少。
（2）隨著問題規模n的增大，兩個演算法的時間開銷之比5n3/100n2=n/20亦隨著增大。即當問題規模較大時，演算法A1比演算法A2要有效地多。它們的漸近時間複雜度O(n2)和O(n3)從巨集觀上評價了這兩個演算法在時間方面的質量。在演算法分析時，往往對演算法的時間複雜度和漸近時間複雜度不予區分，而經常是將漸近時間複雜度T(n)=O(f(n))簡稱為時間複雜度，其中的f(n)一般是演算法中頻度最大的語句頻度。
【例3．8】演算法MatrixMultiply的時間複雜度一般為T(n)=O(n3)，f(n)=n3是該演算法中語句(5)的頻度。下面再舉例說明如何求演算法的時間複雜度。
【例3．9】交換i和j的內容。
Temp=i; i=j; j=temp; 以上三條單個語句的頻度均為1，該程式段的執行時間是一個與問題規模n無關的常數。演算法的時間複雜度為常數階，記作T(n)=O(1)。 如果演算法的執行時間不隨著問題規模n的增加而增長，即使演算法中有上千條語句，其執行時間也不過是一個較大的常數。此類演算法的時間複雜度是O(1)。
【例3．10】變數計數之一。
(1) x=0;y=0;
(2) for(k-1;k<=n;k++)
(3) x++;
(4) for(i=1;i<=n;i++)
(5) for(j=1;j<=n;j++)
(6) y++;
一般情況下，對步進迴圈語句只需考慮迴圈體中語句的執行次數，忽略該語句中步長加1、終值判別、控制轉移等成分。因此，以上程式段中頻度最大的語句是(6)，其頻度為f(n)=n2，所以該程式段的時間複雜度為T(n)=O(n2)。 當有若干個迴圈語句時，演算法的時間複雜度是由巢狀層數最多的迴圈語句中最內層語句的頻度f(n)決定的。
【例3．11】變數計數之二。
(1) x=1;
(2) for(i=1;i<=n;i++)
(3) for(j=1;j<=i;j++)
(4) for(k=1;k<=j;k++)
(5) x++;
該程式段中頻度最大的語句是(5)，內迴圈的執行次數雖然與問題規模n沒有直接關係，但是卻與外層迴圈的變數取值有關，而最外層迴圈的次數直接與n有關，因此可以從內層迴圈向外層分析語句(5)的執行次數： 則該程式段的時間複雜度為T(n)=O(n3/6+低次項)=O(n3)。 （4）演算法的時間複雜度不僅僅依賴於問題的規模，還與輸入例項的初始狀態有關。
【例3．12】在數值A[0..n-1]中查詢給定值K的演算法大致如下：
(1)i=n-1;
(2)while(i>=0&&(A[i]!=k))
(3) i--;
(4)return i;
此演算法中的語句(3)的頻度不僅與問題規模n有關，還與輸入例項中A的各元素取值及K的取值有關: ①若A中沒有與K相等的元素，則語句(3)的頻度f(n)=n； ②若A的最後一個元素等於K,則語句(3)的頻度f(n)是常數0。 （5）最壞時間複雜度和平均時間複雜度 最壞情況下的時間複雜度稱最壞時間複雜度。一般不特別說明，討論的時間複雜度均是最壞情況下的時間複雜度。 這樣做的原因是：最壞情況下的時間複雜度是演算法在任何輸入例項上執行時間的上界，這就保證了演算法的執行時間不會比任何更長。
【例3．19】查詢演算法
【例1·8】在最壞情況下的時間複雜度為T(n)=0(n)，它表示對於任何輸入例項,該演算法的執行時間不可能大於0(n)。
平均時間複雜度是指所有可能的輸入例項均以等概率出現的情況下，演算法的期望執行時間。
常見的時間複雜度按數量級遞增排列依次為：常數0(1)、對數階0(log2n)、線形階0(n)、線形對數階0(nlog2n)、平方階0(n2)立方階0(n3)、…、k次方階0(nk)、指數階0(2n)。顯然，時間複雜度為指數階0(2n)的演算法效率極低，當n值稍大時就無法應用。
2、類似於時間複雜度的討論，一個演算法的空間複雜度(Space Complexity)S(n)定義為該演算法所耗費的儲存空間，它也是問題規模n的函式。漸近空間複雜度也常常簡稱為空間複雜度。
空間複雜度(Space Complexity)是對一個演算法在執行過程中臨時佔用儲存空間大小的量度。一個演算法在計算機儲存器上所佔用的儲存空間，包括儲存演算法本身所佔用的儲存空間，演算法的輸入輸出資料所佔用的儲存空間和演算法在執行過程中臨時佔用的儲存空間這三個方面。演算法的輸入輸出資料所佔用的儲存空間是由要解決的問題決定的，是通過引數表由呼叫函式傳遞而來的，它不隨本演算法的不同而改變。儲存演算法本身所佔用的儲存空間與演算法書寫的長短成正比，要壓縮這方面的儲存空間，就必須編寫出較短的演算法。演算法在執行過程中臨時佔用的儲存空間隨演算法的不同而異，有的演算法只需要佔用少量的臨時工作單元，而且不隨問題規模的大小而改變，我們稱這種演算法是“就地\"進行的，是節省儲存的演算法，如這一節介紹過的幾個演算法都是如此；有的演算法需要佔用的臨時工作單元數與解決問題的規模n有關，它隨著n的增大而增大，當n較大時，將佔用較多的儲存單元，例如將在第九章介紹的快速排序和歸併排序演算法就屬於這種情況。
分析一個演算法所佔用的儲存空間要從各方面綜合考慮。如對於遞迴演算法來說，一般都比較簡短，演算法本身所佔用的儲存空間較少，但執行時需要一個附加堆疊，從而佔用較多的臨時工作單元；若寫成非遞迴演算法，一般可能比較長，演算法本身佔用的儲存空間較多，但執行時將可能需要較少的儲存單元。
一個演算法的空間複雜度只考慮在執行過程中為區域性變數分配的儲存空間的大小，它包括為引數表中形參變數分配的儲存空間和為在函式體中定義的區域性變數分配的儲存空間兩個部分。若一個演算法為遞迴演算法，其空間複雜度為遞迴所使用的堆疊空間的大小，它等於一次呼叫所分配的臨時儲存空間的大小乘以被呼叫的次數(即為遞迴呼叫的次數加1，這個1表不開始進行的一次非遞迴呼叫)。演算法的空間複雜度一般也以數量級的形式給出。如當一個演算法的空間複雜度為一個常量，即不隨被處理資料量n的大小而改變時，可表示為O(1)；當一個演算法的空間複雜度與以2為底的n的對數成正比時，可表示為0(10g2n)；當一個演算法的空I司複雜度與n成線性比例關係時，可表示為0(n).若形參為陣列，則只需要為它分配一個儲存由實參傳送來的一個地址指標的空間，即一個機器字長空間；若形參為引用方式，則也只需要為其分配儲存一個地址的空間，用它來儲存對應實參變數的地址，以便由系統自動引用實參變數。
對於一個演算法，其時間複雜度和空間複雜度往往是相互影響的。當追求一個較好的時間複雜度時，可能會使空間複雜度的效能變差，即可能導致佔用較多的儲存空間；反之，當=i自求一個較好的空間複雜度時，可能會使時間複雜度的效能變差，即可能導致佔用較長的執行時間。另外，演算法的所有效能之間都存在著或多或少的相互影響。因此，當設計一個演算法(特別是大型演算法)時，要綜合考慮演算法的各項效能，演算法的使用頻率，演算法處理的資料量的大小，演算法描述語言的特性，演算法執行的機器系統環境等各方面因素，才能夠設計出比較好的演算法。