1.只能處理同質任務(任務難度不同) 仍只刻畫了工人質量，沒有刻畫任務難度。

D.S. 原文 工人的質量是有一個隱混淆矩陣確定的，此矩陣定義了在確定了正確的標記的條件下工人回復任一可能標記的概率。 工人 k 在 j 為正確標記下回復 l 的概率。

D-S 模型 (一元模型)，工人有(多個)質量參數 p，p 即為工人目前的準確率。

二元模型 sensitivity 和 specificity 分別對應於工人對正負類的正確性

來自 Learning from crowd
Variational Inference for crowdsourcing 用了一元model，方法是 建立 工人能力q 與true label z 的聯合概率分布。 也提到了此二元model

2.處理異質任務(不同任務對同一工人難度不同)

generalization of the D-S model
主要看論文 Achieving Budget-optimality with Adaptive Schemes 此文說是參考了周登勇的論文 Regularized minimax ，很是奇怪.

p quality of worker (刻畫工人是否會如實表達自己的觀點) 0 表達自己反向的觀點 1/2 隨機表達 1 如實表達
q difficulty of task (刻畫工人認為task 的標記是 1的概率)

the response confuse matrix A_{i,j}=1 with probability q_i*p_j+(1-q_i)*(1-p_j)

定義: task 的 ground truth 為（假想的）全體工人的多數投票

還有論文 【9】【18】【22】【15】
whose vote should count more
The multidimensional wisdom of crowds
Regularized minimax
A permutation-based model for crowd labeling

另外，Making better use of .... 介紹了兩到三篇論文全面處理了 D_S 模型及其衍生的各種模型

眾包中關於DS模型及其擴展設定總結