競賽題目 （離線賽與平臺賽題目一樣，只是資料量不一樣，離線2000w+條資料，平臺11億+條資料）

在真實的業務場景下，我們往往需要對所有商品的一個子集構建個性化推薦模型。在完成這件任務的過程中，我們不僅需要利用使用者在這個商品子集上的行為資料，往往還需要利用更豐富的使用者行為資料。定義如下的符號：
U——使用者集合
I——商品全集
P——商品子集，P ⊆ I
D——使用者對商品全集的行為資料集合

商品子集都是偏服務類的商品，涵蓋阿里巴巴集團十個主要的商品大類，例如汽車售後服務、攝影服務、餐飲、電影等，其特色是線上購買、線下服務。
那麼我們的目標是利用D來構造U中使用者對P中商品的推薦模型。

資料說明

第一部分是使用者在商品全集上的移動端行為資料（D）,表名為tianchi_fresh_comp_train_user_2w，包含如下欄位：

第二個部分是商品子集（P）,表名為tianchi_fresh_comp_train_item_2w，包含如下欄位： 

訓練資料包含了抽樣出來的一定量使用者在一個月時間（11.18~12.18）之內的移動端行為資料（D），評分資料是這些使用者在這個一個月之後的一天（12.19）對商品子集（P）的購買資料。參賽者要使用訓練資料建立推薦模型，並輸出使用者在接下來一天對商品子集購買行為的預測結果。

有了新想法我先在離線賽上實驗，成績有提升我才去平臺賽，不過也遇到一些問題，在hive裡執行一點問題沒有的SQL語句，到了ODPS裡就不能用，有很多限制，畢竟資料量大了好幾個數量級，處理起來很費資源，不能那麼隨意的寫了。

剛開始沒理解題意，我還納悶為啥給兩張表= =

U——使用者集合
I——商品全集
P——商品子集，P ⊆ I
D——使用者對商品全集的行為資料集合
那麼我們的目標是利用D來構造U中使用者對P中商品的推薦模型

讓我們預測的是使用者會購買商品子集裡的哪些商品，不是所有的商品。

提示：根據評分規則可以找到一些討巧的辦法～

剛開始沒理解題意，提交的結果F1值極低。

去掉非P中商品之後，F1值咔咔的上去了。然後我就趕緊去平臺賽了~

平臺賽

去除非P中商品之後，F1值咔咔的上去了。

快進前50了！

借鑑了李強大神團隊的PPT，用了GBDT迭代決策樹

--odps sql 
--********************************************************************--
--author:斷線紙鳶自由
--create time:2016-04-12 15:12:09
--********************************************************************
describe tianchi_data.tianchi_fresh_comp_train_user_online;

Create table tianchi_fresh_comp_train_item as
select * from tianchi_data.tianchi_fresh_comp_train_item_online;
Create table tianchi_fresh_comp_train_user as
select * from tianchi_data.tianchi_fresh_comp_train_user_online;

。。。。。。

離線賽

前100了！

day3.hql

create external table tianchi_fresh_comp_train_item(item_id string,item_geohash string,item_category string)
row format delimited fields terminated by ','
location '/tianchilxitem';
create external table tianchi_fresh_comp_train_user(user_id string,item_id string,behavior_type bigint,user_geohash string,item_category string,time string)
row format delimited fields terminated by ','
location '/tianchilx';

hive> source /home/guo/day3.hql;

補充：

準確率、召回率、F1

資訊檢索、分類、識別、翻譯等領域兩個最基本指標是召回率(Recall Rate)和準確率(Precision Rate)，召回率也叫查全率，準確率也叫查準率，概念公式:

             召回率(Recall)      =  系統檢索到的相關檔案 / 系統所有相關的檔案總數

             準確率(Precision) =  系統檢索到的相關檔案 / 系統所有檢索到的檔案總數

圖示表示如下：

注意：準確率和召回率是互相影響的，理想情況下肯定是做到兩者都高，但是一般情況下準確率高、召回率就低，召回率低、準確率高，當然如果兩者都低，那是什麼地方出問題了。一般情況，用不同的閥值，統計出一組不同閥值下的精確率和召回率，如下圖：

如果是做搜尋，那就是保證召回的情況下提升準確率；如果做疾病監測、反垃圾，則是保準確率的條件下，提升召回。

所以，在兩者都要求高的情況下，可以用F1來衡量。

1. F1 = 2 * P * R / (P + R)  

公式基本上就是這樣，但是如何算圖1中的A、B、C、D呢？這需要人工標註，人工標註資料需要較多時間且枯燥，如果僅僅是做實驗可以用用現成的語料。當然，還有一個辦法，找個一個比較成熟的演算法作為基準，用該演算法的結果作為樣本來進行比照，這個方法也有點問題，如果有現成的很好的演算法，就不用再研究了。