1. 程式人生 > >機器學習—— 基於深度學習的推薦系統的實現

機器學習—— 基於深度學習的推薦系統的實現

一.問題描述

任務

參賽隊伍利用給定的頭條問答資料(包括專家標籤、問題資料以及問題分發資料,詳見資料描述部分),進行鍼對問題的專家挖掘。給定若干問題,參賽者需要預測哪些專家更有可能回答這些問題。具體的,針對每個問題和一位候選專家,參賽者需要根據計算該專家回答問題的概率。實際運營中,系統會優先向回答概率高的候選專家傳送這個問題的回答邀請,直到收到的回答數量達到指定閾值。評估方面,給定一個問題,我們會按照預測概率把候選專家排序,並分別評估排序結果的[email protected][email protected]最後評分公式為 [email protected] * 0.5 +

[email protected] * 0.5

////所以:也就是我們需要做的就是針對每個問題和一位候選專家,參賽者需要根據計算該專家回答問題的概率,然後跟給定的專家概率比對評分?

資料集及其解讀

本次使用的資料集中一共包含三類資訊:

1)   專家標籤資料:包括所有專家使用者的ID,專家興趣標籤,處理過的專家描述。

2)   問題資料:包括所有的問題的ID,處理過的問題描述,問題分類,總回答數(這個資料有什麼用?),精品回答數(這個資料有什麼用?),總點贊次數(這個資料有什麼用?)。

3)   問題分發資料:29萬條問題推送記錄;一條推送記錄包括一個問題ID,一個專家使用者ID,該專家是否回答了了該問題的標註。我們將基於這29萬掉問題推送記錄劃分訓練集、驗證集和測試集。

 這樣說可能並不能幫助我們理解資料到底是怎樣組織的


結果提交


二.解決方案

這個問題應該就是要設計一套推薦系統,那我們看看有哪些推薦系統設計方案

基於深度學習的推薦系統論文:點選開啟連結

額,看上去還是有點暈,好多知識沒有學,這裡解釋文中提到的幾個演算法

大致思路就是要給一個使用者推薦商品,那麼只要找到和這個使用者相似的使用者,然後推薦這個相似的使用者購買的商品就可以了。大致分為兩類,一類是基於使用者的臨近模型,原理就是找到相似的使用者,並推薦這個相似使用者的興趣物品。另一類是基於物品的臨近模型,原理是推薦使用者感興趣的物品的相似物品

受限玻爾茲曼機:

三.實現框架

 

四.深度模型

*問題:

1.如果我們採用這個模型的話,那麼我們需搞清楚這樣幾個問題:(1)這個模型的輸入輸出是什麼(2)比賽給定的資料集到底是以怎樣的形式給出的 (3)怎樣把比賽給定的資料集處理後送到這個模型處理。

2.這套推薦系統由哪幾部分組成,分別怎樣實現。

3.這個模型怎樣實現,用什麼語言或者工具、在什麼平臺上執行。

相關推薦

機器學習—— 基於深度學習推薦系統實現

一.問題描述 任務 參賽隊伍利用給定的頭條問答資料(包括專家標籤、問題資料以及問題分發資料,詳見資料描述部分),進行鍼對問題的專家挖掘。給定若干問題,參賽者需要預測哪些專家更有可能回答這些問題。具體的,針對每個問題和一位候選專家,參賽者需要根據計算該專家回答問題的概率。實

機器學習-推薦系統基於深度學習的混合協同過濾模型

  近些年,深度學習在語音識別、影象處理、自然語言處理等領域都取得了很大的突破與成就。相對來說,深度學習在推薦系統領域的研究與應用還處於早期階段。 攜程在深度學習與推薦系統結合的領域也進行了相關的研究與應用,並在國際人工智慧頂級會議AAAI 2017上發表了相應的研究成果《A Hy

基於深度學習機器學習的歌聲演唱系統

專案介紹: 本專案是創業公司的核心專案,核心的不敢透露,僅僅說說專案的介紹和結果吧。 專案包括:深度學習歌詞生成、深度學習主旋律生成、深度學習和機器學習結合的演唱引擎 專案結果: 不說話上連線 一晃就老了 最美的相遇 隱形的翅膀 井岡山下種南瓜 專案感受 機器學習和

[吳恩達機器學習筆記]16推薦系統1-2基於內容的推薦系統

16.推薦系統 Recommender System 覺得有用的話,歡迎一起討論相互學習~Follow Me 16.1 問題形式化Problem Formulation 推薦系統的改善

基於深度學習推薦系統綜述 (arxiv 1707.07435) 譯文 3.1 ~ 3.3

基於深度學習的推薦:最先進的技術 在本節中,我們首先介紹基於深度學習的推薦模型的類別,然後突出最先進的研究原型,旨在確定近年來最顯著和最有希望的進步。 基於深度學習的推薦模型的類別 **圖 1:**基於深度神經網路的推薦模型的類別。 為了提供該領域的全景圖,

語音識別——基於深度學習的中文語音識別系統實現(程式碼詳解)

文章目錄 利用thchs30為例建立一個語音識別系統 1. 特徵提取 2. 模型搭建 搭建cnn+dnn+ctc的聲學模型 3. 訓練準備 下載資料

基於深度學習推薦系統(二)MLP based

在第二部分,我們總結MLP基礎上的推薦系統,我在這裡只截取了原文的一部分內容。這篇部落格中所使用的註解字元和參考文獻目錄可以在基於深度學習的推薦系統(一)Overview中找到。我們把這些工作分為如下幾部分: 傳統推薦演算法的神經網路擴充套件 許多現有的推薦模型

基於深度學習推薦系統研究綜述》_黃立威——閱讀筆記

一、常用的深度學習模型和方法介紹 1.自編碼器 自編碼器通過一個編碼和一個解碼過程來重構輸入資料,學習資料的隱表示。基本的自編碼器可視為一個三層的神經網路結構.下圖是自編碼器結構示意圖: 自編碼器的目的是使得輸入 x 與輸出 y 儘可能接近,這種接近程度通過重構誤差表示,根據資料的

基於深度學習推薦演算法實現(以MovieLens 1M資料 為例)

前言 本專案使用文字卷積神經網路,並使用MovieLens資料集完成電影推薦的任務。  推薦系統在日常的網路應用中無處不在,比如網上購物、網上買書、新聞app、社交網路、音樂網站、電影網站等等等等,有人的地方就有推薦。根據個人的喜好,相同喜好人群的習慣等資訊進行個性化

基於深度學習推薦系統:綜述與新視角

原文:Deep Learning based Recommender System: A Survey and New Perspectives 作者:張帥, 新南威爾士大學 翻譯:沈春旭,清華大學   隨著線上資訊量的不斷增加,推薦系統已經成為克服這種資訊過載的有效策略。

推薦系統(Remmender System)學習筆記(二)--基於深度學習推薦系統

關於session-based recommender system相關演算法以及論文筆記: 1.the item-to-item recommendation approach 《Item-based collaborative filtering recommendat

機器學習4-x——音樂推薦系統程式碼實現

整理自coursera 程式碼和資料可以在這裡下載。 import graphlab song_data = graphlab.SFrame('song_data.gl/') graph

推薦系統基於深度學習的混合協同過濾模型

【宣告:鄙人菜鳥一枚,寫的都是入門級部落格,如遇大神路過鄙地,請多賜教;內容有誤,請批評指教,如有雷同,屬我偷懶轉運的,能給你帶來收穫就是我的部落格價值所在。】   歡迎各路大神小妖精來這看我的部落格,這周太忙了,明早要趕飛機參加一個沙漠拓展活動,就匆匆整了篇

【原創】總結大創項目-基於深度學習的智能紅綠燈調控系統

部門 圖像識別 痛苦 支持 軟件 醫療 要求 穩定 車道檢測 一、產品定位分析   (註:以下調研均發生於2017年5月前。)   由於此次項目最初是為了參加Intel舉辦的某屆基於深度學習的創新應用比賽,當時召集了小組成員集思廣益,想一些具有創意的點子作為此次

開發實戰:基於深度學習+maven+SSM+EasyUI的高校共享汽車管理系統(二)

基於深度學習+maven+SSM+EasyUI的高校共享汽車管理系統   繼上一篇 [專案需求分析](https://blog.csdn.net/ITBigGod/article/details/82729233)之後,接下來就是資料庫設計了。      作為一個管理系統,各種資訊表是必

開發實戰:基於深度學習+maven+SSM+EasyUI的高校共享汽車管理系統(一)

基於深度學習+maven+SSM+EasyUI的高校共享汽車管理系統 1.專案簡介   在現在,共享汽車在中國各地方開始熱起來,於是本人想做一個基於maven+SSM+EasyUI的高校共享汽車管理系統,當然該專案是博主本人2019年的畢業設計,除了javaweb部分,本專案還

python、機器學習深度學習資源推薦

一、公眾號資源推薦——公眾號“勇敢AI” “勇敢AI”——一個專注於人工智慧的微信公眾平臺。 本人新開創了一個公眾號,經過長時間的積累,也積累了大量的資源,有眾多的福利與大家分享,希望有興趣的關注一下 福利如下: 1、海量電子書資源     &nbs

基於深度學習時間序列預測系統專案需求分析心得

專案第一次迭代已經進入了尾聲,在我們小組剛確定這個專案的時候,花了兩個周的時間來確定專案的需求。以下是我們在進行需求分析的一些心得。   需求分析過程:   (1) 小組內部進行討論:在進行團隊專案開發之初,我們在需求分析還有資料庫設計上花了很多時間,首先是進行多次需求分析的團隊會議,小組人員

[分享] Python實現基於深度學習的手寫數字識別演算法

本文將採用深度學習中的卷積神經網路來訓練手寫數字識別模型。使用卷積神經網路建立合理的模型結構,利用卷積層中設定一定數目的卷積核(即濾波器),通過訓練資料使模型學習到能夠反映出十個不同手寫提數字特徵的卷積核權值,最後通過全連線層使用softmax函式給出預測數字圖對應每種數字可能性的概率多少。 本文以學習基於

基於深度學習模型Wide&Deep的推薦

本實驗選用資料為UCI開源資料集,僅用於學習,請勿商用) Wide&Deep推薦演算法出自一篇論文《Wide&Deep Learning for RecommenderSystems》,Wide&Deep由兩部分組成,分別是Wide和Deep。先來說wide,表示的是generali