再談算法復雜度
算法復雜度分為時間復雜度和空間復雜度。
時間復雜度用於度量算法運行的時間長短;而空間復雜度則是用於度量算法所需存儲空間的大小。
時間復雜度
1.時間頻度
一個算法運行所耗費的時間,從理論上是不能算出來的,必須上機運行測試才幹知道。但我們不可能也沒有必要對每一個算法都上機測試,僅僅需知道哪個算法花費的時間多。哪個算法花費的時間少就能夠了。
而且一個算法花費的時間與算法中語句的運行次數成正比例。哪個算法中語句運行次數多,它花費時間就多。一個算法中的語句運行次數稱為語句頻度或時間頻度。記為T(n)。
2.計算方法
1. 普通情況下,算法的基本操作反復運行的次數是模塊n的某一個函數f(n)。因此,算法的時間復雜度記做:T(n)=O(f(n))
分析:隨著模塊n的增大,算法運行的時間的增長率和f(n)的增長率成正比。所以f(n)越小,算法的時間復雜度越低。算法的效率越高。
2. 在計算時間復雜度的時候,先找出算法的基本操作,然後依據對應的各語句確定它的運行次數,再找出T(n)的同數量級(它的同數量級有下面:1。Log2n 。n ,nLog2n ,n的平方,n的三次方,2的n次方,n!
),找出後。f(n)=該數量級,若T(n)/f(n)求極限可得到一常數c,則時間復雜度T(n)=O(f(n))
例:算法:
for(i=1;i<=n;++i)
{
for(j=1;j<=n;++j)
{
c[ i ][ j ]=0; //該步驟屬於基本操作運行次數:n的平方 次
for(k=1;k<=n;++k)
c[ i ][ j ]+=a[ i ][ k ]*b[ k ][ j ]; //該步驟屬於基本操作 運行次數:n的三次方 次
}
}
則有 T(n)= n的平方+n的三次方,依據上面括號中的同數量級。我們能夠確定 n的三次方 為T(n)的同數量級
則有f(n)= n的三次方,然後依據T(n)/f(n)求極限可得到常數c
則該算法的 時間復雜度:T(n)=O(n的三次方)
3.分類
按數量級遞增排列。常見的時間復雜度有:
常數階O(1),對數階O(log2n),線性階O(n),
線性對數階O(nlog2n),平方階O(n2)。立方階O(n3),…,
k次方階O(nk), 指數階O(2n) 。
隨著問題規模n的不斷增大,上述時間復雜度不斷增大,算法的運行效率越低。
空間復雜度
與時間復雜度類似,空間復雜度是指算法在計算機內運行時所需存儲空間的度量。記作:
S(n)=O(f(n))
我們一般所討論的是除正常占用內存開銷外的輔助存儲單元規模。
算法的時間復雜度(計算實例)
算法的時間復雜度
定義:假設一個問題的規模是n,解這一問題的某一算法所須要的時間為T(n)。它是n的某一函數 T(n)稱為這一算法的“時間復雜性”。
當輸入量n逐漸加大時,時間復雜性的極限情形稱為算法的“漸近時間復雜性”。
我們經常使用大O表示法表示時間復雜性,註意它是某一個算法的時間復雜性。
大O表示僅僅是說有上界。由定義假設f(n)=O(n),那顯然成立f(n)=O(n^2)。它給你一個上界,但並非上確界。但人們在表示的時候一般都習慣表示前者。
此外,一個問題本身也有它的復雜性。假設某個算法的復雜性到達了這個問題復雜性的下界。那就稱這種算法是最佳算法。
“大O記法”:在這樣的描寫敘述中使用的基本參數是 n,即問題實例的規模,把復雜性或執行時間表達為n的函數。這裏的“O”表示量級 (order),比方說“二分檢索是 O(logn)的”,也就是說它須要“通過logn量級的步驟去檢索一個規模為n的數組”記法 O ( f(n) )表示當 n增大時,執行時間至多將以正比於 f(n)的速度增長。
這樣的漸進預計對算法的理論分析和大致比較是很有價值的,但在實踐中細節也可能造成差異。比如。一個低附加代價的O(n2)算法在n較小的情況下可能比一個高附加代價的 O(nlogn)算法執行得更快。
當然,隨著n足夠大以後,具有較慢上升函數的算法必定工作得更快。
O(1)
Temp=i;i=j;j=temp;
以上三條單個語句的頻度均為1。該程序段的運行時間是一個與問題規模n無關的常數。算法的時間復雜度為常數階。記作T(n)=O(1)。
假設算法的運行時間不隨著問題規模n的添加而增長。即使算法中有上千條語句。其運行時間也只是是一個較大的常數。
此類算法的時間復雜度是O(1)。
O(n^2)
2.1. 交換i和j的內容
sum=0。 (一次)
for(i=1;i<=n;i++) (n次)
for(j=1;j<=n;j++) (n^2次)
sum++; (n^2次)
解:T(n)=2n^2+n+1 =O(n^2)
2.2.
for (i=1;i<n;i++)
{
y=y+1; ①
for (j=0;j<=(2*n);j++)
x++; ②
}
解:語句1的頻度是n-1
語句2的頻度是(n-1)*(2n+1)=2n^2-n-1
f(n)=2n^2-n-1+(n-1)=2n^2-2
該程序的時間復雜度T(n)=O(n^2).
O(n)
2.3.
a=0;
b=1; ①
for (i=1;i<=n;i++) ②
{
s=a+b; ③
b=a; ④
a=s; ⑤
}
解:語句1的頻度:2,
語句2的頻度: n,
語句3的頻度: n-1,
語句4的頻度:n-1,
語句5的頻度:n-1,
T(n)=2+n+3(n-1)=4n-1=O(n).
O(log2n )
2.4.
i=1; ①
while (i<=n)
i=i*2; ②
解: 語句1的頻度是1,
設語句2的頻度是f(n), 則:2^f(n)<=n;f(n)<=log2n
取最大值f(n)= log2n,
T(n)=O(log2n )
O(n^3)
2.5.
for(i=0;i<n;i++)
{
for(j=0;j<i;j++)
{
for(k=0;k<j;k++)
x=x+2;
}
}
解:當i=m, j=k的時候,內層循環的次數為k當i=m時, j 能夠取 0,1,…,m-1 , 所以這裏最內循環共進行了0+1+…+m-1=(m-1)m/2次所以,i從0取到n, 則循環共進行了: 0+(1-1)*1/2+…+(n-1)n/2=n(n+1)(n-1)/6所以時間復雜度為O(n^3).
我們還應該區分算法的最壞情況的行為和期望行為。如高速排序的最壞情況執行時間是 O(n^2),但期望時間是 O(nlogn)。通過每次都細致地選擇基準值,我們有可能把平方情況 (即O(n^2)情況)的概率減小到差點兒等於 0。
在實際中,精心實現的高速排序一般都能以 (O(nlogn)時間執行。
以下是一些經常使用的記法:
訪問數組中的元素是常數時間操作,或說O(1)操作。一個算法如 果能在每一個步驟去掉一半數據元素,如二分檢索,通常它就取 O(logn)時間。用strcmp比較兩個具有n個字符的串須要O(n)時間。常規的矩陣乘算法是O(n^3)。由於算出每一個元素都須要將n對 元素相乘並加到一起,全部元素的個數是n^2。
指數時間算法通常來源於須要求出全部可能結果。比如,n個元 素的集合共同擁有2n個子集,所以要求出全部子集的算法將是O(2n)的。指數算法一般說來是太復雜了,除非n的值很小。由於,在 這個問題中添加一個元素就導致執行時間加倍。不幸的是。確實有很多問題 (如著名的“巡回售貨員問題” ),到眼下為止找到的算法都是指數的。假設我們真的遇到這樣的情況。通常應該用尋找近似最佳結果的算法替代之。
算法復雜度的漸近表示法
一個算法的時間復雜度,指算法執行的時間。
如果數據輸入規模是n,算法的復雜度能夠表示為f(n)的函數
一 大O記號
如果f(n)和g(n)的定義域是非負整數,存在兩個正整數c和n0,使得n>n0的時候,f(n)≤c*g(n),則f(n)=O(g(n))。可見O(g(n))能夠表示算法執行時間的上界。O(g(n))表示的函數集合的函數是階數不超過g(n)的函數。
比如:f(n)=2*n+2=O(n)
證明:當n>3的時候,2*n +2<3n,所以可選n0=3,c=3,則n>n0的時候。f(n)<c*(n)。所以f(n)=O(n)。
如今再證明f(n)=2*n+2=O(n^2)
證明:當n>2的時候,2*n+2<2*n^2,所以可選n0=2,c=2,則n>n0的時候,f(n)<c*(n^2)。所以f(n)=O(n^2)。
同理可證f(n)=O(n^a),a>1
二 ?記號
?記號與大O記號相反,他能夠表示算法執行時間的下界。
?(g(n))表示的函數集合的函數是全部階數超過g(n)的函數。
比如:f(n)=2*n^2+3*n+2=?(n^2)
證明:當n>4的時候,2*n^2+3*n+2>n^2,所以可選n0=4,c=1,則n>n0的時候,f(n)>c*(n^2),所以f(n)=?(n^2)。
同理可證f(n)=?(n),f(n)=?(1)
三 Θ記號
Θ記號介於大O記號和?記號之間。他表示,存在正常數c1,c2,n0,當n>n0的時候,c1*g(n)≤f(n)≤c2*g(n)。則f(n)=Θ(g(n))。他表示全部階數與g(n)同樣的函數集合。
四 小o記號
f(n)=o(g(n))當且僅當f(n)=O(g(n))且f(n)≠?(g(n))。
也就是說小o記號能夠表示時間復雜度的上界。可是一定不等於下界。
五 樣例
如果f(n)=2n^2+3n+5,
則f(n)=O(n^2)或者f(n) = O(n^3)或者f(n)=O(n^4)或者……
f(n)=?(n^2)或者f(n)=?(n)或者f(n)=?(1)
f(n)=Θ(n^2)
f(n) = o(n^3)或者f(n)=o(n^4)或者f(n)=o(n^5)或者……
註:n^2表示n的平方。以此類推。
常見排序算法時空復雜度
排序法 |
最差時間分析 | 平均時間復雜度 | 穩定度 | 空間復雜度 |
冒泡排序 | O(n2) | O(n2) | 穩定 | O(1) |
高速排序 | O(n2) | O(n*log2n) | 不穩定 | O(log2n)~O(n) |
選擇排序 | O(n2) | O(n2) | 穩定 | O(1) |
二叉樹排序 | O(n2) | O(n*log2n) | 不一頂 | O(n) |
插入排序 |
O(n2) | O(n2) | 穩定 | O(1) |
堆排序 | O(n*log2n) | O(n*log2n) | 不穩定 | O(1) |
希爾排序 | O | O | 不穩定 | O(1) |
再談算法復雜度