協同過濾Item-based演算法實現電影推薦系統

阿新 • • 發佈：2019-01-08

系統詳細設計

離線計算推薦電影模組

系統所用演算法:
　本系統採用協同過濾（Collaborative Filtering）推薦演算法。協同過濾推薦演算法分為預測過程和推薦過程，其包括Item-based演算法和User-based演算法，但經查閱相關資料發現User-based演算法存在兩個問題：1. 資料的稀疏性：一個大型的電影推薦系統會有大量的電影資訊，使用者已打分的電影可能只佔總量的很少一部分，不同使用者之間電影打分的重疊性較低，導致演算法無法找到一個興趣使用者；2. 演算法的擴充套件性：最近鄰演算法的計算量會隨著使用者和電影資訊數量的增加而增加，不適合資訊量大的情況。所以本系統採用了Item-based協同過濾演算法，並對其做了適當修改。

計算過程：
計算過程分兩步：
1.計算電影相似度：利用調整的餘弦相似度計算方法，公式如下圖：
這裡寫圖片描述
2.電影相似度加權求和：使用使用者已打分電影的分數進行加權求和，權值為使用者未打分的各電影與打分的各電影的相似度，然後求平均，公式如下圖：

以上部分均採用了多執行緒技術計算，值得注意的是相似度計算存在很大的冗餘，必須去除冗餘計算，不然計算量很大，這需要在資料庫中建立一個sim表來記錄已經計算的的sim(i,j),當下次需要計算sim(i,j)或sim(j,i)可直接從資料庫讀取而無需重複計算。並且我認為如果R（u，N）值如果比較低，說明使用者不喜歡此電影，這條相似度資訊可以忽略，這需要設定一個打分閥值。

計算模組流程圖：
　　由於計算量較大，計算模組採用了多執行緒技術，來提升系統執行效率，如下圖為計算模組主執行緒和子執行緒的流程圖，如圖ａ，圖ｂ：
　　

　　　　　　　　　　　　　　　　　圖ａ
　　

　　　　　　　　　　　　　　　　圖ｂ

關鍵程式碼分析

計算模組採用多執行緒技術，主執行緒通過建立子執行緒來實現大量資料的計算，其中執行緒狀態的監測很有必要，如下面為主執行緒實現程式碼：

sql="SELECT uid FROM user group by uid";
        uidItems=uiddb.executeQuery(sql);   
        for 
(int i=0;i<threadNum;i++){
            thCom[i]=new Thread(new thComp(uidItems,i));    
            thCom[i].start();
        }//for i
        boolean thFinished=false;
        while(!thFinished){
            try{
                Thread.sleep(sleepTime);
            }catch(Exception e){//try
                e.printStackTrace();
            }//catch();
            thFinished=true;
            for(int i=0;i<threadNum;i++){
                if(thCom[i].isAlive()){
                    //System.out.println(thCom[i].getName()+":"+thCom[i].getState());
                    thFinished=false;
                    break;
                }//if
            }//for i
        }//while(!thFinished)

由於子執行緒是從主執行緒建立的ResultSet中讀取資料，這就需要子執行緒互斥的訪問臨界資源ResultSet，如下面程式碼所示：

public synchronized int getUserID(ResultSet uidItems){
        int uid=0;//0 shows that no usrid needs to process
        try{
            if(uidItems.next()){
                uid=uidItems.getInt("uid");
            }//if
        }catch(Exception e){
            e.printStackTrace();
        }//catch
        return uid;
    }//getUserID()

在為使用者A計算要推薦的電影，計算電影i與電影j的相似度sim(i,j)時，可能在為使用者B計算要推薦的電影已經計算過，如果再計算一次，會造成計算的冗餘，降低了計算效率，使系統性能下降，這需要將將計算的sim(i,j)儲存下來，然後需要計算sim(i,j)先判斷是否已經計算過sim(i,j)或sim(j,i)，如果計算過直接讀取，否則計算，本系統中是將sim(i,j)的計算值儲存到資料庫的sim表中，主要實現程式碼如下：

String sql="SELECT sim FROM sim WHERE midi='"+midi+"' and midj='"+midj+"' or midi='"+midj+"' and midj='"+midi+"'";  
        uidItems=uiddb.executeQuery(sql);
        //select and fllaowing insert may have problems
        try{
            if(uidItems.next()){
                return uidItems.getDouble("sim");
            }//if(uidItems.next())
        }catch(Exception e){
            e.printStackTrace();
        }//catch()
    public synchronized void insertSim(String sql){
        //here may have some problems
        recSimdb.executeUpdate(sql);
    }//insertSim

瀏覽推薦電影模組: 瀏覽使用者推薦電影流程圖; 關鍵程式碼分析
　　該模組主要是按推薦指數降序排序顯示推薦給每個使用者的電影，來滿足使用者的娛樂需求，提高使用者的滿意率，此功能主要程式碼如下所示：

public synchronized int getUserID(ResultSet uidItems){
        int uid=0;//0 shows that no usrid needs to process
        try{
            if(uidItems.next()){
                uid=uidItems.getInt("uid");
            }//if
        }catch(Exception e){
            e.printStackTrace();
        }//catch
        return uid;
    }//getUserID()

資料庫設計模組

　　由於電影和使用者資訊資料量比較大，本系統將資料檔案中的資料匯入到mysql資料庫中，同時增加了一些額外資料表來滿足系統的要求，比如儲存使用者平均打分的avgrating表和降低計算電影相似性冗餘的sim表。在經常查詢的欄位添加了索引，以提高查詢速度，在group by欄位也添加了索引。下面簡單介紹下資料庫中各個表結構如下幾張圖所示。
　　電影資訊表

　　使用者資訊表

　　使用者打分資訊表

　　使用者平均打分表

　　 sim表

　　這裡寫圖片描述