現在關於人臉識別的SDK其實有很多，諸如face++、百度大腦之類的，他們都能為開發者免費提供人臉識別的介面。阿里也和face++合作，實現了支付寶的刷臉支付。

但是很遺憾，網上關於識別一段視訊中的使用者行為（諸如搖搖頭，眨眨眼，微笑）的資料很少，可能是技術沒有公開，所以只能自己去想解決方法了。本人最近在做一個關於微信小程式的畢業設計，所以想到了把這兩個技術結合下，這裡寫篇部落格，為大家解解惑吧，純是自己的一些想法，如果大家有疑惑或者更好的建議，可以發郵件聯絡我（[email protected]）。

大致的解決方案如下： 

圖可能不是很清晰，請看這裡：

1. 使用者在微信小程式中拍攝一段視訊
2. 將使用者拍攝的視訊傳到七牛雲伺服器
3. 藉助七牛雲伺服器的媒體處理api對視訊每隔一定時間截圖，形成一張張視訊切圖
4. 使用百度大腦的人臉識別api分析每張圖中使用者的行為，最後得出結論

現在開始coding:

A. 先初始化一個微信小程式的專案，然後新建一個video頁面，這個頁面的js中需要首先引入七牛雲上傳檔案的js—qiniuUpload.js，然後繫結拍攝視訊的按鈕的事件—chooseVideo，程式碼大致如下：

chooseVideo: function () {
    initQiniu();
    var that = this;
    wx.chooseVideo({
      sourceType: ['camera'
 
, 'album'],
      camera: 'front',
      maxDuration: 40,
      success: function (res) {
        console.log('拍照之後：');
        console.log(res);
        that.setData({
          src: res.tempFilePath
        });
        //七牛上傳檔案
        var vedioObject = res;
        var filePath = res.tempFilePath;
     },error: function
 
(err){
       console.log(err)
     }
   }  

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19
• 20

這樣就把使用者在拍攝之後的視訊資訊（時長，高度，寬度，臨時儲存地址拿到了），接下來就是上傳到七牛雲伺服器了。

B. 將視訊上傳到七牛雲伺服器 
上傳檔案到七牛過程呢，有一點小複雜，建議大家先去看下七牛的官方技術文件，這裡後臺我是用的是php，但是實際上七牛的SDK幾乎支援所有的主流語言，所以對php不熟悉的同學也不用太擔心。 
大致的流程就是先搭建一個獲取上傳token的介面，在上傳檔案的時候你需要首先請求這個介面，獲得的token是作為上傳函式的必要引數，這是使用七牛PHP SDK的程式碼：

<?php
  require '../qiniu-sdk/autoload.php';
  use Qiniu\Auth;
  // 用於簽名的公鑰和私鑰
  $accessKey = 't5tBss9FrousfymdmFw4ki2fscwZ8qGaIw8SZmX8';
  $secretKey = 'uASYB6XxzJy9tLWeGsLaNaQyX4bVafIVh6Dpgvxo';
  // 初始化籤權物件
  $auth = new Auth($accessKey, $secretKey);

  // 空間名  https://developer.qiniu.io/kodo/manual/concepts
  $bucket = 'andyliwr-server';
  // 生成上傳Token
  $upToken = $auth->uploadToken($bucket);
  $returnData = array('uptoken'=>$upToken);
  echo json_encode($returnData);

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15

然後就是在微信小程式中呼叫七牛的上傳api，這裡感謝未知名大神的原始碼貢獻，建議好好看看README，裡面的qiniuUpload.js已經幫我們封裝好了，直接設定定義引數，然後呼叫initQiniu()，就可以使用qiniuUploader.upload的上傳函式，需要設定的引數如下：

var options = {
    region: 'SCN', // 華東區，生產環境應換成自己七牛帳戶bucket的區域
    uptokenURL: 'https://xxxxx/uploadImg.php', // 生產環境該地址應換成自己七牛帳戶的token地址，具體配置請見server端
    domain: 'https://xxxxx/' // 生產環境該地址應換成自己七牛帳戶物件儲存的域名
  };

• 1
• 2
• 3
• 4
• 5

大致過程如下 
- 從 github 上下載qiniuUploader.js，匯入小程式工程。

• 在使用 SDK 之前，您必須先註冊一個七牛雲帳號，並登入控制檯獲取一對有效的 AccessKey 和 SecretKey，您可以閱讀 如何接入七牛 和 安全機制 以進一步瞭解如何正確使用和管理金鑰 。

• SDK 依賴服務端頒發 uptoken，可以通過以下二種方式實現：

  • 利用七牛服務端 SDK 構建後端服務（建議的方式）
  • 利用七牛底層 API 構建服務，詳見七牛上傳策略和上傳憑證
• 您需要了解您的七牛儲存空間設定在那個區域，比如華東，華南等，參見區域設定

後端服務應提供一個 URL 地址，供小程式請求該地址後獲得 uptoken。請求成功後，服務端應返回如下格式的 json（至少包含 uptoken 欄位）：

{
    "uptoken": "0MLvWPnyya1WtPnXFy9KLyGHyFPNdZceomL..."
}

• 1
• 2
• 3

根據你建立的七牛儲存空間，把對應的 https 上傳地址新增到小程式的訪問白名單中，方法如下：

1. 登入 微信公眾平臺，前往 設定 - 開發設定，點選 伺服器配置 下的「修改」連結。
2. 修改 uploadFile 域名(比如華北 https 上傳地址為：https://up-z1.qbox.me，地址不清楚請參見https地址附錄)
3. 如果需要下載檔案，則還需要一同設定 downloadFile 域名，為你的 bucket 下載地址
4. 儲存即可

儲存區域對應 HTTPS 地址，參考官方文件

配置好引數之後，你就應該可以體驗下看看能否成功上傳視訊了了，ps：我這裡講得比價籠統，不會的直接下再小程式的原始碼，開始整。

所以想要獲取到所有切圖只需要結合視訊時長寫一個迴圈就好了，另外兩個引數w是視訊的寬度，h是視訊的高度，這些需要微信小程式傳送給後臺：

var allPicture = [];
for(var i=0; i<vedioObject.duration; i++){
  allPicture.push(res.imageURL+'?vframe/jpg/offset/'+i+'/w/'+vedioObject.width+'/h/'+vedioObject.height+'/rotate/0');
}

• 1
• 2
• 3
• 4

 wx.request({
   url: https://xxxxx/analysis/request/AipFace.php + '?video_url=' + res.imageURL + '&duration=' + vedioObject.duration + '&width=' + vedioObject.width + '&height=' +vedioObject.height, //僅為示例，並非真實的介面地址
   header: { 'content-type': 'application/json' },
   success: function (res) { ..........

• 1
• 2
• 3
• 4

D: 使用百度API做人臉分析 
同樣的百度API雖然對個人使用者免費但是需要註冊一個appid，這裡建議去看下百度的文件，我這裡就不多說了，不會的直接下載程式碼

最後對接後返回的結果做個檢測，isSimle為true則表示使用者微笑了:

var isSimle = res.data.result.some(function(item){
 if(item.result instanceof Array){
   return item.result.some(function(item2){
     return item2.expression == '1';
   })
 }else{
   return item.result.expression == '1';
 }
});

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9

最後，覺得有啥不懂的，你可以聯絡我，踩坑是肯定的，做程式設計師咱們就得有這覺悟，不懂的你可以聯絡我([email protected])，也可以關注我的github（https://github.com/Andyliwr）.