1、處理包含資料的檔案

最近利用Python讀取txt檔案時遇到了一個小問題，就是在計算兩個np.narray()型別的陣列時，出現了以下錯誤：

 TypeError: ufunc 'subtract' did not contain a loop with signature matching types dtype('<U3') dtype('<U3') dtype('<U3')

作為一個Python新手，遇到這個問題後花費了挺多時間，在網上找了許多大神們寫的例子，最後終於解決了。
總結如下：
（1）出現此問題的原因是：目的是想計算兩個陣列間的差值，但陣列中的元素不是資料型別（float或int等），而是str型別的。
（2）解決方法：在為空陣列新增資料過程中，將每個資料強制轉化為float型。
如將“character.append(dataSet[i][:-1])”修改為“ character.append([float(tk) for tk in dataSet[i][:-1]])”

現將利用Python讀取txt檔案的過程總結如下：
python版本為python3.6

（1）函式定義，存放於Function.py檔案中：

from numpy import *
import random

#讀取資料函式,返回list型別的訓練資料集和測試資料集
def loadData(fileName):   
    trainingData=[]
    testData=[]
    with open(fileName) as txtData:
        lines=txtData.readlines()
        for line in lines:
            lineData=line.strip().split(','
 
)    #去除空白和逗號“,”
            if random.random()<0.7:             #資料集分割比例
                trainingData.append(lineData)   #訓練資料集
            else:
                testData.append(lineData)       #測試資料集
    return trainingData,testData

#輸入資料為list型別,分割資料集，分割為特徵和標籤兩部分，返回資料為np.narray型別
def splitData(dataSet)
 
:  
    character=[]
    label=[]
    for i in range(len(dataSet)):
        character.append([float(tk) for tk in dataSet[i][:-1]])
        label.append(dataSet[i][-1])
    return array(character),array(label)

（2）實現兩個陣列間的減法，存放於main.py檔案中：

#__author__=='qustl_000'
#-*- coding: utf-8 -*-

import numpy as np
import Function

fileName="1.txt"
trainingData,testData=Function.loadData(fileName)

trainingCharacter,trainingLabel=Function.splitData(trainingData)
testCharacter,testLabel=Function.splitData(testData)

diff1=np.tile(testCharacter[0],(len(trainingCharacter),1))-trainingCharacter
print('測試資料集的一條資料，擴充到與訓練資料集同維：')
print(np.tile(testCharacter[0],(len(trainingCharacter),1)))
print('訓練資料集：')
print(trainingCharacter)
print('作差後的結果：')
print(diff1)

（3）執行結果：

測試資料集的一條資料，擴充到與訓練資料集同維：
[[  1.5  60. ]
 [  1.5  60. ]
 [  1.5  60. ]
 [  1.5  60. ]
 [  1.5  60. ]
 [  1.5  60. ]
 [  1.5  60. ]
 [  1.5  60. ]
 [  1.5  60. ]
 [  1.5  60. ]
 [  1.5  60. ]
 [  1.5  60. ]
 [  1.5  60. ]]
訓練資料集：
[[  1.5  40. ]
 [  1.5  50. ]
 [  1.6  40. ]
 [  1.6  50. ]
 [  1.6  60. ]
 [  1.6  70. ]
 [  1.7  60. ]
 [  1.7  70. ]
 [  1.7  80. ]
 [  1.8  60. ]
 [  1.8  80. ]
 [  1.8  90. ]
 [  1.9  90. ]]
作差後的結果：
[[  0.   20. ]
 [  0.   10. ]
 [ -0.1  20. ]
 [ -0.1  10. ]
 [ -0.1   0. ]
 [ -0.1 -10. ]
 [ -0.2   0. ]
 [ -0.2 -10. ]
 [ -0.2 -20. ]
 [ -0.3   0. ]
 [ -0.3 -20. ]
 [ -0.3 -30. ]
 [ -0.4 -30. ]]

資料集如下：

1.5,40,thin
1.5,50,fat
1.5,60,fat
1.6,40,thin
1.6,50,thin
1.6,60,fat
1.6,70,fat
1.7,50,thin
1.7,60,thin
1.7,70,fat
1.7,80,fat
1.8,60,thin
1.8,70,thin
1.8,80,fat
1.8,90,fat
1.9,80,thin
1.9,90,fat

2、處理文字檔案，如情感識別類的檔案

在進行文字的情感分類時，從電影評論資料集網站上下載資料集後，發現數據集中存在許多不需要的符號。擷取部分包含多餘字元的資料如下：

下載資料集後，所有txt檔案存放在兩個資料夾：“neg”(包含消極評論)和“pos”(包含積極地評論)中。
兩者的存放目錄如下：“F:\Self_Learning\機器學習\python\Bayes\review_polarity\txt_sentoken”。後面需要用到檔案路徑，此路徑可根據自己存放目錄修改。

主要涉及到的python操作有：多餘字元的刪除、資料夾中多檔案的操作。

2.1 多餘字元的刪除

首先，我們要刪除多餘的符號，獲得乾淨的資料。

經過查詢資料，知道刪除一條文字資料中不需要的符號，可以通過re.sub(chara,newChara,data)函式實現，其中chara是需要刪除的字元，newChara是刪除字元後相應位置的替換字元，data是需要操作的資料。比如下面的程式碼，指的是刪除lines中包含的前面列出的字元，並用空白替換：

lineString = re.sub("[\n\.\!\/_\-$%^*(+\"\')]+|[+—()?【】“”！:,;.？、~@#￥%…&*（）0123456789]+", " ", lines)

2.2 python對多檔案的操作

下面的程式中，pathDirPos指的是所有積極評論的txt檔案所在的目錄，在此指的是“F:\Self_Learning\機器學習\python\Bayes\review_polarity\txt_sentoken\pos”。child就是獲得的每個txt檔案全名。

 for allDir in pathDirPos:
        child = os.path.join('%s' % allDir)

2.3 電影評論資料集預處理

下面給出對於電影評論資料集的預處理程式（python3.6）.

'''獲取資料，並去除資料中的多餘符號,返回list型別的資料集'''
def loadData(pathDirPos,pathDirNeg):
    posAllData = []  # 積極評論
    negAllData = []  # 消極評論
    # 積極評論
    for allDir in pathDirPos:
        lineDataPos = []
        child = os.path.join('%s' % allDir)
        filename = r"review_polarity/txt_sentoken/pos/" + child
        with open(filename) as childFile:
            for lines in childFile:
                lineString = re.sub("[\n\.\!\/_\-$%^*(+\"\')]+|[+—()?【】“”！:,;.？、[email protected]#￥%…&*（）0123456789]+", " ", lines)

                line = lineString.split(' ') #用空白分割每個檔案中的資料集（此時還包含許多空白字元）
                for strc in line:
                    if strc != "" and len(strc) > 1:  #刪除空白字元，並篩選出長度大於1的單詞
                        lineDataPos.append(strc)
                posAllData.append(lineDataPos)
    # 消極評論
    for allDir in pathDirNeg:
        lineDataNeg = []
        child = os.path.join('%s' % allDir)
        filename = r"review_polarity/txt_sentoken/neg/" + child
        with open(filename) as childFile:
            for lines in childFile:
                lineString = re.sub("[\n\.\!\/_\-$%^*(+\"\')]+|[+—()?【】“”！:,;.？、[email protected]#￥%…&*（）0123456789]+", " ", lines)
                line = lineString.split(' ')  #用空白分割每個檔案中的資料集（此時還包含許多空白字元）
                for strc in line:
                    if strc != "" and len(strc) > 1: #刪除空白字元，並篩選出長度大於1的單詞
                        lineDataNeg.append(strc)
                negAllData.append(lineDataNeg)
    return posAllData,negAllData
'''劃分資料集，將資料集劃分為訓練資料和測試資料,引數splitPara為分割比例'''
def splitDataSet(pathDirPos,pathDirNeg,splitPara):
    trainingData=[]
    testData=[]
    traingLabel=[]
    testLabel=[]
    posData,negData=loadData(pathDirPos,pathDirNeg)
    pos_len=len(posData)
    neg_len=len(negData)
    #操作積極評論資料
    for i in range(pos_len):
        if(random.random()<splitPara):
            trainingData.append(posData[i])
            traingLabel.append(1)
        else:
            testData.append(posData[i])
            testLabel.append(1)
    for j in range(neg_len):
        if(random.random()<splitPara):
            trainingData.append(negData[j])
            traingLabel.append(0)
        else:
            testData.append(negData[j])
            testLabel.append(0)
    return trainingData,traingLabel,testData,testLabel