1. The Classroom Response System Based on Affective Computing

Kuan-Cheng Lin*, Rei-Wen Lin, Szu-lu Chen, Ciou-Ru You, lui-Lin Chai
Published in: 2010 3rd IEEE International Conference on Ubi-Media Computing

近年來，學校教師傾向於使用正在迅速和普遍發展的資訊和通訊技術的應用，以促進學生和教師之間的互動，以進行有效的學習。課堂反應系統可以有效地捕捉學生在課堂上的學習成果，結果將立即反饋教師，以改善他們的教學。然而，現有的課堂反應系統必須通過課程測試學生來獲得學習成果，但學習者的自主權往往會影響學習成果;如果學習者走神或沒有注意描述的問題並且沒有按下正確的按鈕，則結果無效。本文提出了一種新的課堂反應系統，該系統將用於通過測試達到學習的有效性（即理解水平）;在使用網路攝像頭記錄學習者的面部表情的同時，將捕捉和分析面部表情的特徵。然後系統將使用貓群優化和支援向量機來識別與表達特徵和分類模型相關的理解水平。實驗結果證明了所選擇的9個面部表情，並驗證了所提出系統的100％分類精度。

• 提到CRS應答器被應用於課程反饋
• 訓練時，設計了針對學習者的問卷，讓學習者自己選會不會這道題並且現在有什麼表情，再通過錄像矯正。感覺受試者真實的情感表達會受限，完全可以控制自己的表情，漏洞還挺大的，又非常艱苦卓越。
• 14個點標記面部功能區，定義了7個特徵值α1-α7
• CSO雞群演算法+SVM（文中給出了不同表情的最優SVM引數C和γ）

2. Automatic facial expression recognition for intelligent tutoring systems

Jacob Whitehill ; Marian Bartlett ; Javier Movellan
Published in: 2008 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops

該專案探討了面部表情在教學中自動反饋的想法。 我們展示瞭如何有效地使用自動實時面部表情識別來估計個別學生所感知的講座的難度水平。我們還表明，面部表情可以及時預測每個學生傾向的課程速度。在視訊講座觀看任務，訓練不到兩分鐘的記錄面部表情資料和在單獨的驗證集上測試，我們的系統預測了自我報告的難度分數，平均準確度0:42（Pearson R），和他們的首選觀看速度，平均準確度為0:29。 我們的技術是全自動的，可用於智慧輔導系統（ITS）和標準教室環境。

• 使用價值高，可以實際用於教學輔助，預測不同學生對於課程難度和課程速度的不同需求。應用方向有參考性。
• 具體實現還沒有細看。

3. A Real-time Facial Expression Recognizer using Deep Neural Network

Jinwoo Jeon , Jun-Cheol Park , YoungJoo Jo , …
International Conference on Ubiquitous Information Management & Communication - 2016

隨著基於深度學習的識別模型的界限越來越大，出現了針對智慧家居裝置的實時使用者狀態識別器的特定需求。 本文提出了實時的面部表情識別器來滿足它們。我們使用HOG特徵描述符來檢測人臉，相關跟蹤器跟蹤檢測到的人臉和基於深度卷積神經網路（CNN）的識別器在我們的模型上。我們的CNN模型使用Kaggle面部表情識別挑戰資料集進行訓練和測試。實驗結果表明，我們的識別器可以實現高測試精度和低計算時間，實現移動使用的實時高效能人類表達識別。
方向梯度直方圖（Histogram of Oriented Gradient, HOG）特徵是一種在計算機視覺和影象處理中用來進行物體檢測的特徵描述子。HOG特徵通過計算和統計影象區域性區域的梯度方向直方圖來構成特徵。Hog特徵結合SVM分類器已經被廣泛應用於影象識別中，尤其在行人檢測中獲得了極大的成功。

• 用HOG特徵結合SVM分類器來識別一對多的教室中的人臉也許是個好主意。不過HOG特徵只是用於檢測人臉。
• 人臉識別的方法很多，本文采用CNN
• 資料集：Kaggle面部表情識別挑戰資料集；七分類：angry, disgust, fear, happy, sad, surprise and neutral；資料集中表情比較誇張，還有卡通人物在裡面。（如果實驗環境設定在教室中，學生的表情不會那麼誇張，可以考慮通過一些手段放寬識別條件）
  

end