胡豐——袋鼠雲高階演算法專家

袋鼠雲人工智慧實驗室負責人。十年影象處理、模式識別、機器視覺等方面的研發工作，主要研究領域為：智慧交通、工業視覺分析、OCR、視訊智慧質量診斷、智慧球機跟蹤、人臉等方向，發表第一作者發明專利十餘篇、國際發明專利一篇。

我國工業網際網路已經形成“三條途徑”：一是打造智慧工廠，提高企業內部生產效率，通過網際網路技術以及一些相關的機器視覺、圖象演算法、模式識別的方式，提高企業的生產效率；二是打造智慧產品，延伸企業外部的價值鏈；三是匯聚產業鏈資源，實現向平臺運營的轉變，打造資料驅動的生態運營能力。

基於網際網路的條件下，結合工業場景，提出端加雲的解決方案，方案如下圖：

端+雲的完整解決方案

在該解決方案部署中分為本地端和雲端。在本地端中分成兩部分：一個是資料層，資料層在一些生產裝置以及相應的業務系統中實時會場生成的資料；另一個是本地執行層，產生的資料經過本地執行層，執行層實時獲取資料，獲取資料之後，一方面進行資料的儲存，另一方面對獲取到的資料進行模型計算，計算完之後進行決策，決策後又可以進行下一輪的操作。

在雲端接收離線的序列資料，在雲端基於大資料平臺進行一個模型分析及模型訓練，訓練之後把更新的模型再下發到本地進行更新，依次迴圈可以不斷的提高系統能力及演算法能力。

基於機器視覺的應用場景分析

人類對世界的認知非常簡單，我們可以一眼看出一個水果是蘋果還是橘子。但換成計算機，怎麼寫個程式讓機器來分辨人和貓、蘋果和橘子呢？實際上在我們考慮的過程中，可以基於以下幾個方面進行思考，首先以我們最直觀的方式來看，比如說顏色、形狀、紋理、邊緣輪廓等，轉換成計算機，我們通過顏色直方圖把最低的三個分量特徵都提取

出來，蘋果是偏向紅色，橘子是偏向橙色，這樣可以分析出來；然後再通過形狀，比如把某省地圖輪廓提取出來作為一個特徵，利用圖象中心到輪廓的距離作為一個距離特徵；再高一層次可以進行結構特徵，基於底層的特徵，一些邊緣、形狀進行一個結構分析。

最左邊的結構特徵實際上是一個心理學圖，不同的人看到的維度不同，有一些人看到的是白色的一個酒杯，但是換成另外一些人去看，這是兩個面對面的人臉，這種通過圖象分析可以把結構提出來，然後右邊菱形的結構，以及一些知識相簿的紋理結構，都是結構特徵。

深度學習提取特徵

前面是傳統的圖象處理常用方法，採用基於深度學習的特徵提取方法。深度學習的方法相對來說比較簡單，就

是把我們輸入的圖象輸入網路，每個網路對不同的過程進行一個迭代訓練。在我們的網路前期，像一些低階的特徵比如簡單的邊緣紋理特徵，在中間部分我們就可以學到一個相對高階一點的結構特徵，比如說我們做人臉識別的時候，是可以把裡面的一些眼睛、嘴巴、耳朵等提取出來，再往高處走可以得到，最後就可以把物體的模型給訓練出來，比如說訓練出人臉的大致輪廓，這是通過深度學習方法提取的特徵。

異常檢測分析

特徵提取完之後，進行異常檢測分析。圖中目標是讓我們在圖裡面去找出哪一個是與其他不一樣？因為工業場景中會有一些異常的目標異常分析，異常分析跟上圖是挺相似的，在工業中也是一樣，我們就是要把異常目標給自動定位分類出來。

對於異常目標分析，首先是要進行一個模型訓練，模型訓練過程是這樣的，先是對獲取到的圖象進行特徵提取，比如說像一些顏色紋理、一些結構，甚至是用一些深度學習的方法自動去提取特徵，提取特徵之後建立模型，得到一個模型表示式，比如說我們模型可以用圖中這個分佈函式來表示，模型的分佈形式跟我們建立的方法有關係，我們可能是用一些資訊方法，也有可能是二維的曲面，或者多維的曲面。

以二維的平面為例，假設模型提取的特徵為x1,x2 ，我們學到的模型是一個分類面，分類面裡面有一個正常的樣本，同時假設x1,x2正相關，即x1越大，x2也就越大，通過模型計算可以將紅色的異常點自動檢測出來。現在對待這種異常，在分類面之外我們可以自動的分出來。

模型訓練完之後肯定要進行使用，使用的時候先把訓練好的模型部署到產線上，產線上啟動後實時對圖象進行獲取，然後進行特徵提取，經過模型輸出最終的決策。在一些產線的分析過程中，實時去監測一些關鍵的曲線，對這些曲線進行視覺化的實時輸出結果，比如圖中這些曲線，我們在做的過程中的一些關鍵因素通過曲線的方式打印出來。

通過曲線可以去回判維繫，比如說我們是哪一個產線，或者是哪一臺機器出了問題，然後這個曲線跟歷史相對應的會出現一些異常，利用曲線實時去決策，以及可以根據一些歷史的資訊去判斷，這些機器是什麼時候開始出現這些故障的。

影象場景分析

另外，在我們一些實際案例中會碰到一些比較惡劣的環境，比如說一些環境下，在生產產線上有一些是有毒的，還有高溫、高壓、高輻射的一些場景，這種情況用人眼或者一些可見光的攝像頭是很難觀察出來的。我們採用紅外熱感相機進行分析，獲取到紅外熱感應的圖象結果圖，對這個結果圖再進行圖象分割，分割完之後就可以得到對應的容器位置，然後我們對容器的位置內部再進行一個異常分析，就可以得到異常區域，然後對異常區域進行分類，因為雜質有多種多樣，有液體的、固體的，最終可以得到一個決策結果，可以返推回去是什麼原因造成這個結果的。

我們還有產線管道熱輻射管道監控，在產線有一些燃油傳輸管道，還有一些特殊液體的傳輸管道，我們要實時去監控，液體經過有一個溫度，如果溫度過高，很容易會造成產線管道的快速老化，一些老化之後會爆開或者裂開滲漏出來，我們採用紅外方式獲取一個實時圖象，然後對圖象再進行分割，之後再進行一個標註，像藍色代表數字方向的一個管道，綠色是橫向的一個管道。標註完之後對應標註管道進行曲線的監控，得到右邊的工作監控圖，通過這個圖就可以知道管道的實時溫度，以及相關的監控值。這樣可以繼續幫助廠商從歷史體系圖中檢視相關的情況。

寫在文末：

11月3日AICUG人工智慧技術沙龍網易專場活動中，袋長老胡豐為大家分享了《工業品缺陷異常檢測及識別》的內容，此篇文章也是基於演講內容來撰寫。