前言

經過漫長的單休之後，本週終於可以雙休了 ：）

本來打算趁雙休沒事幹，把最近我胡熱播的電視劇《獵場》給過了，看到十多集的時候，越發看不下去了，額，怎麼說呢，獵頭相關的不專業，更像是《情場》，可是下載了這麼多視訊全集，rm 掉有點可惜，正好最近對視訊分析這塊比較感興趣，因此想試試手，此外，自己一直依賴都是做人臉相關的研究應用，就先從人臉開始。：）

以上都是廢話 ：）

主要技術和步驟

視訊抽幀

直接用cv2就可以，我才用的是秒抽一幀。

人臉檢測和特徵提取

人臉的檢測包括人臉框，人臉識別特徵，還有各種人臉屬性特徵：如性別、年齡、表情、顏值等。

struct FaceFeature{
    1
 
: Region region,
    2: double age,
    3: double gender,
    4: list<double> racial,
    5: list<double> feature,
    6: double smile,
    7: double attractive,
    8: list<double> exps,
}

其中 feature 主要用來用來做聚類用；

人臉特徵聚類；

人臉聚類主要用來識別出一個視訊全集中到底有多少人，聚類的方法比較多，就不細扯了，在github上搜了一下，chinese_whispers_clustering

結果

人物聚類

識別聚類結果如下：

上面的id，代表一個人物，後面會用到。

簡單的看了一下，主要的人物還算都聚起來了，很多人不認識（比較只看了十多集），也存在幾個問題，可能是聚類演算法的閾值選擇的不太合適，如0和6都是鄭秋冬，被分開了，還有346和763，另外還有21號，這個類聚合的都是誤檢的人臉；

應用

人物顏值排序

都說男女一號一般都是劇裡的顏值擔當，但在這部劇中，我是不同意的（不單單我不同意，我訓練的顏值模型也不同意 ：））

結果如下：

正如預期的那樣，統計意義上，女性演員的顏值要高於男性演員的，此外，模型認為本劇的顏值擔當竟然是363號周放演的鐘淮蘭，第二是346號賈衣玫，而1號女主角排第五 : )

男演員方面： 最帥的是1454號，應該是後面的劇情才出現的，沒見過。第二帥是345號林拜（我也覺得他最帥，符合我直男癌的審美：）），至於0號男主角也是排第五：）

人物情緒曲線

通過分析一個人物在劇中的情緒，大致就可以知道該人物是悲劇角色，還是喜劇角色。
我們將情緒歸為3類：中性為0，正向表情為1，負向表情為-1；

exp2scole = {
    |   "Angry":-1,
    |   "Disgust":-1,
    |   "Fear":-1,
    |   "Happy":1,
    |   "Sad":-1,
    |   "Surprise":1,
    |   "Neutral":0
    |   }

拿363號鍾淮蘭為例：

可以看到鍾淮蘭的在前期負向情緒為主，猜測出現的劇情在廣西監獄那段。符合預期。

人物出場時間視覺化

一直以來，想做的一件事就是為那些追星族把明明星在電視劇中出現都整合在一起，就可以免去為了看一個明星而需要看整部劇的煩惱了。通過在每一集中，將每個人物的出場點都可視化出來，就可以基本實現這個功能，只需要用ffmpeg 來裁剪就可以。

以16集合為例：
結果如下：

大致可以看到這這一集中，有1號，3號兩位鄭秋冬女朋友同時出場，估計會比較好看 ：）

視訊highlight裁剪

現在的很多小視訊如西瓜視訊上有很多電視劇的highlight，如果可以自動的highlight發現，那應該也是一個很有意思的事情，如在劇中，將1號和3號同時出現的裁剪出來，估計就會很有意思：）

貼不了視訊 ：）

後記

實現程式碼都放在github上了，地址在這VideoFace
，如果對你有幫助的話，可以給個小星星：）

額，大週末的，我這是在幹啥呢。