1. 程式人生 > >python大資料分析——缺失值處理

python大資料分析——缺失值處理

# -*- coding: utf-8 -*-

import pandas as pd 
from scipy.interpolate import lagrange as lg #呼叫拉格朗日缺值補充函式

inputfile='D:/Code/Need/try.xls'
outputfile='D:/Code/Need/try1.xls'

data=pd.read_excel(inputfile)
data[u'B'][(data[u'B']>15) | (data[u'B']<1)]=None #去掉其中大於15小於1的異常值(視情況而定)

def lagra(data,j,k=5): #data為傳入的列,j為值
    y=data[list(range(j-k,j))+list(range(j+1,j+1+k))]  #選取選中資料的前五個資料和後五個資料進行缺值補充
    y=y[y.notnull()] #去掉選中資料中的空值
    return lg(y.index,list(y))(j) #lagrange(x,y)(source) 返回值

for i in data.columns:
    for j in range(len(data)):
        if(data[i].isnull())[j]: #找到空值就執行函式
            data[i][j]=lagra(data[i],j)
            
data.to_excel(outputfile)