當多個人或多種方法就同一問題給出不同的評價、標註或結果時，評價者間一致度(inter-rater reliability)計算可以給出一個數值，用來衡量這些結果之間的一致性程度，用來代表這些結果的可信程度。

計算評價者間一致度的方法有好幾種，詳見wiki(https://en.wikipedia.org/wiki/Inter-rater_reliability)。

Krippendorf's Alpha是計算評價者間一致度的方法之一，計算公式如下：

具有以下特性及優點：

(1)評價者的個數任意

(2)不同評價結果的數量任意

(3)可以為不同種類的評價結果設定不同的差異衡量標準

(4)允許資料不完整

(5)對於大數量資料和小數量資料的處理方法相同

Krippendorf's Alpha一次只計算對於一個variable評價結果的一致性。計算過程如下：

(1)得到關於某變數評價結果的矩陣

(2)算出coincidence matrix

對於某個unit，若存在某兩個結果c和k，則對於這兩個結果，c-k和k-c均要算進coincidence matrix

(3)選擇衡量標準

(4)計算一致度

參考論文：

[1]Computing Krippendorff’s Alpha-Reliability

PS：

(1)評等者間信度(inter-rater reliability)：檢測兩位以上的醫護人員(或檢驗方法)診斷結果是否吻合，
(2)評等者內信度(intra-rater reliability)：檢測同一位醫護人員(或檢驗方法)重覆診斷的結果是否一致。