基於Kubernetes的機器學習微服務系統設計系列——(六)特徵選擇微服務
阿新 • • 發佈：2018-11-10
內容提要
特徵選擇微服務主要實現如下特徵選擇演算法：Document Frequency(DF)、Information Gain(IG)、(χ2)Chi-Square Test(CHI)、Mutual Information(MI)、Matrix Projection(MP)。
特徵選擇類圖
特徵選擇類圖如圖所示：
部分實現程式碼
特徵選擇Action類
package com.robin. 特徵選擇抽象類
package com.robin.feature;
import com.robin.container.MapSort;
import com.robin.feature.corpus.CorpusManager;
import com.robin.log.RobinLogger;
import java.util.HashMap;
import java.util.HashSet;
import java.util.Iterator;
import java.util.List;
import java.util.Map;
import java.util.Set;
import java.util.logging.Level;
import java.util.logging.Logger;
import org.codehaus.jettison.json.JSONObject;
/**
* <DT><B>描述：</B></DT>
* <DD>特徵選擇抽象類</DD>
*
* @version Version1.0
* @author Robin
* @version <I> Date：2018-04-05</I>
* @author <I> E-mail:[email protected]</I>
*/
public abstract class AbstractFeature {
/**
* 日誌記錄器
*/
protected static final Logger LOGGER = RobinLogger.getLogger();
/**
* 訓練集所有詞的集合
*/
protected Set<Integer> globalTermsSet;
/**
* 儲存每個訓練類別的詞-文件頻數 <類標籤,<詞編碼,頻數>>
*/
protected HashMap<String, HashMap<Integer, Integer>> everyClassDFMap;
//訓練集JSON物件
protected JSONObject trainSetJson;
//全域性特徵-特徵值集合
protected HashMap<Integer, Double> globalFeatureValueMap;
//區域性特徵-特徵值集合
protected HashMap<String, HashMap<Integer, Double>> allLocalFeatureValueMap;
/**
* 特徵選擇抽象類構造方法
*
* @param trainSetJson
*/
public AbstractFeature(JSONObject trainSetJson) {
this.trainSetJson = trainSetJson;
this.allLocalFeatureValueMap = new HashMap<>();
initEveryClassDFMap();
}
/**
* 獲取非重複總詞數
*
* @return 非重複總詞數
*/
public int getAllTermTotal() {
if (globalTermsSet != null) {
return globalTermsSet.size();
}
return 0;
}
/**
* 獲取全域性特徵總數
*
* @return 全域性特徵總數
*/
public int getGlobalFeatureSize() {
if (null == globalFeatureValueMap) {
return globalFeatureValueMap.size();
}
return 0;
}
/**
* 計算全域性特徵值
*
* @return HashMap
*/
protected abstract HashMap<Integer, Double> computeGlobalFeatureValue();
/**
* 計算區域性特徵值
*
* @param label 類標籤
* @return HashMap
*/
protected abstract HashMap<Integer, Double> computeLocalFeatureValue(String label);
/**
* 全域性選取 dimension 維特徵
*
* @param dimension
* @return List
*/
public List<Map.Entry<Integer, Double>> selectGlobalFeature(int dimension) {
if (null == globalFeatureValueMap) {
// 計算全域性特徵的量化值
globalFeatureValueMap = this.computeGlobalFeatureValue();
}
List<Map.Entry<Integer, Double>> featureList = new MapSort<Integer, Double>().descendSortByValue(globalFeatureValueMap);
for (int i = featureList.size() - 1; dimension