過了初賽就可以參加複賽，我初賽200+名（及格上榜的好像就400多人，具體名次我也不記得了），招行5.20給發了99.9的紅包，很大方了~~~

賽題背景    

財經新聞作為重要卻海量的投資資料，無時無刻不在影響著投資者們的投資決策，為了更好地提示客戶當下新聞事件對應的投資機會和投資風險，本課以研發“歷史事件連連看”為目的，旨在根據當前新聞內容從歷史事件中搜索出相似新聞報道，後期可以結合事件與行情，輔助客戶採取相應投資策略。    

該賽題是讓參賽者為每一條測試集資料尋找其最相似的TOP 20條新聞，我們會根據參賽者提交的結果和實際的資料進行對比，採用mAP值作為評價指標。

具體實現

該題是一道文字相似度的題目，（我想也可以理解看成聚類啊，分類，具體如何操作我尚未試驗）

講一個小思路：

獲取資料（讀取中文文字）-->分詞-->資料清洗（去掉停用詞）-->計算tfidf--構建詞袋模型轉換為向量-->計算餘弦相似度-->獲取最相似的20條

額，這是一個baseline 的思路，比賽官方的結果還沒有給出，我就先貼上自己baseline 的程式碼吧，其實還有很多要優化的地方，比如L:tfidf並不適合短文字，這樣關鍵詞提取上會出問題；另外VSM模型並不是計算相似性的最佳模型，個人見解，歡迎討論.

科普一下：

常見的距離度量方法：

（1）歐式距離（2）Pearson相關性（3）cos餘弦距離

注意注意！在推薦系統最常用的其實是第二種。

下面是我的一個計算文字相似性的簡單程式碼啦：

# -*- coding: utf-8 -*-
"""
Created on Fri Apr 27 21:49:31 2018

@author: susuxuer
"""

import jieba
import jieba.posseg as pseg
from gensim import corpora,models,similarities
import pandas as pd
import re
import time

# 載入資料集
'''
載入訓練集方式：
    loadDataSet('train_data.csv', 'UTF-8')
    
載入測試集方式：
    loadDataSet('test_data.csv', 'gbk')
    
'''
def loadDataSet(filename,encode):
    dataSet = pd.read_csv(filename, encoding = encode)
    m,n = dataSet.shape
    data = dataSet.values[:,-1]
    dataId = dataSet.values[:,0]
    return data.reshape((m,1)), dataId.reshape((m,1))

# numpy 陣列轉化為 list
def ndarrayToList(dataArr):
    dataList = []
    m,n = dataArr.shape
    for i in range(m):
        for j in range(n):
            dataList.append(dataArr[i,j])
    return dataList

# 建立停用詞list  
def stopwordslist(filePath):  
    stopwords = [line.strip() for line in open(filePath, 'r', encoding='UTF-8').readlines()]  
    return stopwords  

# 去掉字串特殊符號
def removeStr(listData):
    strData = "".join(listData)  
    r1 = u'[0-9’!"#$%&\'()*+,-./:;<=>
 
[email protected]，。?★、…【】《》？“”‘’！[\\]^_`{|}~]+'
    removeStrData = re.sub(r1, "",strData)
    return removeStrData

# 對資料集分詞
def wordSplit(data):
    stopword = stopwordslist('ChineseStopWords.txt')
    word = ndarrayToList(data)
    
    m = len(word)
    wordList = []  # 儲存分詞結果
    for i in range(m):
        rowListRemoveStr = removeStr(word[i])
        rowList = [eachWord for eachWord in jieba.cut(rowListRemoveStr)] # 對每一行分詞
        wordRmoveList = []
        
        for oneword in rowList:
            if oneword not in stopword and word != '\t' and word != ' ':
                wordRmoveList.append(oneword)
    
        wordList.append(wordRmoveList)
    return wordList


if __name__ == "__main__":
    
    start = time.clock()
    
    with open("result.txt","a") as fr:
        fr.write('source_id')
        fr.write('\t')
        fr.write('target_id')
        fr.close
        
    # 載入訓練集與測試集
    trainData,trainDataId = loadDataSet('train_data.csv', 'UTF-8')
    testData,testDataId = loadDataSet('test_data.csv', 'gbk')
    print('訓練集、測試集載入完成')
    
    # 對訓練集與測試集分詞
    trainDataSplit = wordSplit(trainData)
    print('訓練集分詞完成')
    testDataSplit = wordSplit(testData)
    print('測試集分詞完成')

 
    # 製作語料庫
    dictionary = corpora.Dictionary(trainDataSplit)  # 獲取詞袋
    corpus = [dictionary.doc2bow(doc) for doc in trainDataSplit]  # 製作語料庫
    print('語料庫製作完成')
    
    # 使用 TF-IDF 模型對語料庫建模
    tfidf = models.TfidfModel(corpus)
    m = len(testDataSplit)

    for i in range(m):
        print('測試第%d條資料' %i)
        testVec = dictionary.doc2bow(testDataSplit[i])
        index = similarities.SparseMatrixSimilarity(tfidf[corpus], num_features=len(dictionary.keys()))
        sim = index[tfidf[testVec]]
        simNumList = sorted(enumerate(sim), key=lambda item: -item[1])
        
        with open("result.txt","a") as fr:
            for j in range(21):
                if str(int(testDataId[i])) == str(int(simNumList[j][0]+1)):
                    continue
                fr.write('\n')
                fr.write(str(int(testDataId[i])))
                fr.write('\t')
                fr.write(str(int(simNumList[j][0]+1)))
                
    elapsed = (time.clock() - start)
    print('Time use', elapsed)

還望大神們勿噴，這是第一版本，後面版本尚不能公開，此版本Python 3.6可以執行，python2.7可能會出現編碼錯誤。

我之前用的python 2.7 ，Unicode ，GBK，UTF-8，ASCII把我搞得很懵逼，總是出錯，給大家科普一下編碼:

ASCII：最開始只在美國使用，是一個位元組，前128個為標準ASCII碼，後128個稱為擴充套件ASCII碼。許多基於x86的系統都支援使用擴充套件（或“高”）ASCII。擴充套件ASCII 碼允許將每個字元的第8 位用於確定附加的128 個特殊符號字元、外來語字母和圖形符號。

Unicode 是國際組織制定的可以容納世界上所有文字和符號的字元編碼方案，又稱統一碼。

GBK編碼：是指中國的中文字元，其它它包含了簡體中文與繁體中文字元，另外還有一種字元“gb2312”，這種字元僅能儲存簡體中文字元。

UTF-8：是萬國碼，UTF8編碼格式很強大，支援所有國家的語言，正是因為它的強大，才會導致它佔用的空間大小要比GBK大，對於網站開啟速度而言，也是有一定影響的。