#匯入相應模組
import re
import os 
import pandas as pd
import numpy as np

# 讀取 10個csv 檔案
path = 'E:/round1/'
files = os.listdir(path)
files_csv = list(filter(lambda x: x[-4:]=='.csv' , files))

#定義一個空列表
data_list = []

#函式re.compile將正則表示式（以字串書寫的）轉換為模式物件
num_filter = re.compile(r'\d+')

# 迴圈讀取檔案中‘code','close'兩列，並新增一列'rank'
 

for file in  files_csv:
    tmp = pd.read_csv(path + file)[['code', 'close']]
    tmp['rank'] = num_filter.findall(file)[0]
    data_list.append(tmp)

# 將讀入的資料連線
all_data = pd.concat(data_list)
all_data.head()

# 將‘rank'一列資料賦值給all_data_rank
all_data_rank = pd.to_numeric(all_data['rank'])
all_data.dtypes

# 刪除'rank'一列
all_data = all_data.drop('rank', axis = 1)

# 在0列插入一列'rank'值為all_data_rank的值
all_data.insert(0, 'rank', all_data_rank)

# 將資料按照'code','rank'的值排序
a = all_data.sort_values(by = ['code','rank']) 

# 取code 的唯一值，並求其長度
len(a.code.unique())  # 長度為737
code = a.code.unique()

# 重複十遍，並生成列表
code = code.repeat(10)
code = code.tolist()

# 迴圈1~10，並重復迴圈737次，生成列表
x = np.arange(1,11, step = 1)
y=np.tile(x,737)
y = y.tolist()

# 以生成的兩個列表生成新的資料框
y = pd.DataFrame({'rank': y,'code': code})
y.head()

# 將資料框和新生成的資料框左連線
b = pd.merge(y, a, how='left') 
sum(b.isnull().values)# 檢視資料框的缺失值

# 將資料根據“code”進行分組
group_rank = b.groupby(['code'])

# 分別向前先後填充缺失值
d = b.fillna(method = 'bfill',limit = 3)  #用limit限制每列可以替代NaN的數目
d = d.fillna(method = 'ffill')
sum(d.isnull().values)

array([0, 0, 0])

當資料中存在NaN缺失值時，我們可以用其他數值替代NaN，主要用到了DataFrame.fillna()方法，
使用0替代缺失值（當然你可以用任意一個數字代替NaN）；
df.fillna(0) 
用一個字串代替缺失值；
df.fillna('missing') 
用前一個數據代替NaN：method='pad'或者 method='ffill'；
df.fillna(method='pad') 
與pad相反，bfill表示用後一個數據代替NaN；df.fillna(method='pad') 
這裡我們增加一個知識點，用limit限制每列可以替代NaN的數目；
df.fillna(method='bfill',limit=1) 
除了上面用一個具體的值來代替NaN之外，還可以使用平均數或者其他描述性統計量來代替NaN；
df.fillna(df.mean()