量化交易入門筆記-Pandas庫

阿新 • • 發佈：2018-12-14

Pandas 是基於 Numpy 構建的，讓以 Numpy 為中心的應用變得更加簡單

Pandas 提供了大量快速便捷地處理資料的函式和方法，這也是使 Pandas 成為強大的高效的資料分析環境的重要因素之一

Pandas 的資料結構主要有三種

Series
DataFrame
Panel

一維陣列 Series

Series 是由一組資料（各種 Numpy 資料型別），以及一組與之相關的標籤資料（即索引）組成。僅上一組資料即可產生最簡單的 Series，也可以通過傳遞一個 list 物件來建立一個 Series 。需要注意的是，Pandas 會預設建立整形索引

Series 中只允許在座相同型別的資料，以提高運算效率

# 引用 pandas 庫，並重命名為 pd
import pandas as pd

pd_series = pd.Series(['Python','C','C#','C++','Java','VB','VC'])
print("顯示Series中的內容\n", pd_series)
print("顯示Series中的索引\n", pd_series.index)
print("顯示Series中的資料\n", pd_series.values)

# 建立帶指定索引的Serices
other_series = pd.Series(['Python','C','C#','C++','Java' 
,'VB','VC'], index = ['a','b','c','d','e','f','g'])
print("顯示Series中的內容\n：", other_series)

顯示Series中的內容
 0    Python
1         C
2        C#
3       C++
4      Java
5        VB
6        VC
dtype: object
顯示Series中的索引
 Int64Index([0, 1, 2, 3, 4, 5, 6], dtype='int64')
顯示Series中的資料
 ['Python' 'C' 'C#' 'C++' 'Java' 'VB' 'VC']
顯示Series中的內容：
a    Python
b         C
c        C#
d       C++
e      Java
f        VB
g        VC
dtype: object

二維陣列 DataFrame

DataFrame 是一個表格型資料結構，它含有一組有序的列，每一列的資料結構都是相同的，而不同列之間則可以是不同的資料型別。或者以資料庫進行型別，DataFrame 中的每一行是一個記錄，名稱為 Index 的一個元素，而每一列則為一個欄位，是這個記錄的一個屬性。DataFrame 既有行的索引也有列的索引，可以被看作由 Series 組成的字典（共用一個索引）

DataFrame 是個二維陣列，相當於表結構。它的列稱為columns，行稱為index。也可以將DataFrame理解為Series的容器

建立 DataFrame

# 引用 pandas 庫，並重命名為 pd
import pandas as pd

data = {"name":["yahoo", "google", "facebook"], "marks": [200,400,800], "price": [9, 3, 7]}
pd_dataframe = pd.DataFrame(data)
print("顯示DataFrame的資料")
print(pd_dataframe)

顯示DataFrame的資料
   marks      name  price
0    200     yahoo      9
1    400    google      3
2    800  facebook      7

提示，因為字典是無序的，所以最後轉換成DataFrame後，列的順序可能與定義的時候是不一樣的

檢視資料

先利用get_price函式來獲取某股票一段時間內的資料，其語法如下：

get_price(security, start_date=None, end_date=None, frequency='daily', fields=None, skip_paused=False, fq='pre', count=None)

引數解析：

security：一隻股票的程式碼或一組股票程式碼的 list
start_date: 開始時間，與引數 count 二選一，不可同時使用。如果兩者都沒有設定，則start_date生效，預設時間為’2015-01-01’。如果取分鐘資料，時間可以精確到分鐘
end_date: 結束時間，預設是’2015-12-31’，包含此日期。當取分鐘資料時，如果只有日期，則日內時間等同於’00:00:00’，所以返回的資料不包括 end_date 這一天
frequency: 單位時間長度，幾天或者幾分鐘，預設是 daily ，即表示1天。現在支援
- Xd 幾天
- Xm 幾月
- daily 1天
- minute 1分鐘
需要注意的是，當X>1時，fields 只支援 [‘open’, ‘close’, ‘high’, ‘low’, ‘volume’, ‘money’] 這幾個標準欄位
fields: 字串 list，選擇要獲取的行情資料欄位，預設是 None（表示 [‘open’, ‘close’, ‘high’, ‘low’, ‘volume’, ‘money’] 這幾個標準欄位）。引數 felids 支援 SecurityUnitData 裡面的所有基本屬性，包含：[‘open’, ‘close’, ‘high’, ‘low’, ‘volume’, ‘money’, ‘factor’, ‘high_limit’, ‘low_limit’, ‘avg’, ‘pre_close’, ‘paused’]
sikp_paused:是否跳過不易日期（包括停牌、未上市或者退市後資料者為 nan。需要注意的是，該引數預設為 False ，即不跳過不交易日期。如果當該引數是 True 時，只能選取一隻股票的資訊
fq: 復權選項。引數值設為 ‘pre’，表示前復權，為預設設定；引數值為 None，表示不復權，返回實際價格；引數值設定為 ‘post’，表示後復權
count:與 start_date 二選一，不可同時使用。引數 count 表示數量，返回結果集的行數，表示獲取 end_date 之前幾個 frequency 的資料

示例程式碼：

# 引用 pandas 庫，並重命名為 pd
import pandas as pd

# 通過get_price函式獲取一段時間內某股票的資料
date_frame = get_price('000009.XSHE', 
                       start_date='2018-04-03', 
                       end_date='2018-04-20', frequency='daily')
date_frame

open	close	high	low	volume	money
2018-04-03	5.97	6.17	6.20	5.88	32328739	1.964467e+08
2018-04-04	6.14	6.24	6.30	6.12	28622962	1.778433e+08
2018-04-09	6.24	6.33	6.33	6.15	29313979	1.832740e+08
2018-04-10	6.32	6.26	6.33	6.16	25122114	1.565214e+08
2018-04-11	6.27	6.21	6.27	6.20	13808473	8.598230e+07
2018-04-12	6.23	6.24	6.28	6.17	17397725	1.082082e+08
2018-04-13	6.23	6.11	6.27	6.09	17134280	1.056886e+08
2018-04-16	6.26	6.26	6.48	6.22	35419584	2.233821e+08
2018-04-17	6.26	6.01	6.26	6.01	23077057	1.411712e+08
2018-04-18	6.05	6.09	6.12	5.90	14690685	8.846467e+07
2018-04-19	6.06	6.08	6.23	6.06	13842257	8.486182e+07
2018-04-20	6.04	5.98	6.11	5.95	12086284	7.270285e+07

另外date_frame.head()可以只顯示前五行資料：

# 引用 pandas 庫，並重命名為 pd
import pandas as pd

# 通過get_price函式獲取一段時間內某股票的資料
date_frame = get_price('000009.XSHE', 
                       start_date='2018-04-03', 
                       end_date='2018-04-20', frequency='daily')
date_frame.head()

open	close	high	low	volume	money
2018-04-03	5.97	6.17	6.20	5.88	32328739	1.964467e+08
2018-04-04	6.14	6.24	6.30	6.12	28622962	1.778433e+08
2018-04-09	6.24	6.33	6.33	6.15	29313979	1.832740e+08
2018-04-10	6.32	6.26	6.33	6.16	25122114	1.565214e+08
2018-04-11	6.27	6.21	6.27	6.20	13808473	8.598230e+07

顯示最後五行資料，可以使用date_frame.tail()

# 引用 pandas 庫，並重命名為 pd
import pandas as pd

# 通過get_price函式獲取一段時間內某股票的資料
date_frame = get_price('000009.XSHE', 
                       start_date='2018-04-03', 
                       end_date='2018-04-20', frequency='daily')
date_frame.tail()

open	close	high	low	volume	money
2018-04-16	6.26	6.26	6.48	6.22	35419584	2.233821e+08
2018-04-17	6.26	6.01	6.26	6.01	23077057	1.411712e+08
2018-04-18	6.05	6.09	6.12	5.90	14690685	8.846467e+07
2018-04-19	6.06	6.08	6.23	6.06	13842257	8.486182e+07
2018-04-20	6.04	5.98	6.11	5.95	12086284	7.270285e+07

選擇資料

只顯示開盤價（open）的資料資訊，如下：

# 引用 pandas 庫，並重命名為 pd
import pandas as pd

# 通過get_price函式獲取一段時間內某股票的資料
date_frame = get_price('000009.XSHE', 
                       start_date='2018-04-03', 
                       end_date='2018-04-20', frequency='daily')
date_frame['open']

2018-04-03    5.97
2018-04-04    6.14
2018-04-09    6.24
2018-04-10    6.32
2018-04-11    6.27
2018-04-12    6.23
2018-04-13    6.23
2018-04-16    6.26
2018-04-17    6.26
2018-04-18    6.05
2018-04-19    6.06
2018-04-20    6.04
Name: open, dtype: float64

選擇多個欄位，如下：

# 引用 pandas 庫，並重命名為 pd
import pandas as pd

# 通過get_price函式獲取一段時間內某股票的資料
date_frame = get_price('000009.XSHE', 
                       start_date='2018-04-03', 
                       end_date='2018-04-20', frequency='daily')
date_frame[['open', 'close', 'money']]  # 開盤價、收盤價、成交額

open	close	money
2018-04-03	5.97	6.17	1.964467e+08
2018-04-04	6.14	6.24	1.778433e+08
2018-04-09	6.24	6.33	1.832740e+08
2018-04-10	6.32	6.26	1.565214e+08
2018-04-11	6.27	6.21	8.598230e+07
2018-04-12	6.23	6.24	1.082082e+08
2018-04-13	6.23	6.11	1.056886e+08
2018-04-16	6.26	6.26	2.233821e+08
2018-04-17	6.26	6.01	1.411712e+08
2018-04-18	6.05	6.09	8.846467e+07
2018-04-19	6.06	6.08	8.486182e+07
2018-04-20	6.04	5.98	7.270285e+07

顯示第四條到第六條資訊

# 引用 pandas 庫，並重命名為 pd
import pandas as pd

# 通過get_price函式獲取一段時間內某股票的資料
date_frame = get_price('000009.XSHE', 
                       start_date='2018-04-03', 
                       end_date='2018-04-20', frequency='daily')
date_frame[3:6]

open	close	high	low	volume	money
2018-04-10	6.32	6.26	6.33	6.16	25122114	1.565214e+08
2018-04-11	6.27	6.21	6.27	6.20	13808473	8.598230e+07
2018-04-12	6.23	6.24	6.28	6.17	17397725	1.082082e+08

使用標籤選取資料，語法如下：

date_frame.loc[行標籤, 列標籤]

# 選擇a行到b行
date_frame.loc['a':'b']
# 選擇open列的所有資料
date_frame.loc[:, 'open']

可以看出，第一個引數表示行標籤，逗號後的第二個引數表示的是列標籤，當然，如果沒有第二個引數的話則選擇所有列

兩個引數既可以是列表，也可以是單個字元，如果兩個引數都為列表，則返回的是DataFrame，否則返回Series

loc為location縮寫

選擇某一天的資料

# 引用 pandas 庫，並重命名為 pd
import pandas as pd

# 通過get_price函式獲取一段時間內某股票的資料
date_frame = get_price('000009.XSHE', 
                       start_date='2018-04-03', 
                       end_date='2018-04-20', frequency='daily')
date_frame.loc['2018-04-10']

open      6.320000e+00
close     6.260000e+00
high      6.330000e+00
low       6.160000e+00
volume    2.512211e+07
money     1.565214e+08
Name: 2018-04-10 00:00:00, dtype: float64

選擇某一天的收盤價資料

# 引用 pandas 庫，並重命名為 pd
import pandas as pd

# 通過get_price函式獲取一段時間內某股票的資料
date_frame = get_price('000009.XSHE', 
                       start_date='2018-04-03', 
                       end_date='2018-04-20', frequency='daily')
date_frame.loc['2018-04-10', 'close']

6.2599999999999998

選擇某一時間段的收盤價資料

# 引用 pandas 庫，並重命名為 pd
import pandas as pd

# 通過get_price函式獲取一段時間內某股票的資料
date_frame = get_price('000009.XSHE', 
                       start_date='2018-04-03', 
                       end_date='2018-04-20', frequency='daily')
date_frame.loc['2018-04-10':'2018-04-18', 'close']

2018-04-10    6.26
2018-04-11    6.21
2018-04-12    6.24
2018-04-13    6.11
2018-04-16    6.26
2018-04-17    6.01
2018-04-18    6.09
Name: close, dtype: float64

選擇所有日期下的收盤價資料

# 引用 pandas 庫，並重命名為 pd
import pandas as pd

# 通過get_price函式獲取一段時間內某股票的資料
date_frame = get_price('000009.XSHE', 
                       start_date='2018-04-03', 
                       end_date='2018-04-20', frequency='daily')
date_frame.loc[:, 'close']

2018-04-03    6.17
2018-04-04    6.24
2018-04-09    6.33
2018-04-10    6.26
2018-04-11    6.21
2018-04-12    6.24
2018-04-13    6.11
2018-04-16    6.26
2018-04-17    6.01
2018-04-18    6.09
2018-04-19    6.08
2018-04-20    5.98
Name: close, dtype: float64

使用位置選取資料，語法如下：

df.iloc[行位置, 列位置]

# 選取第二行，第二列的值，返回的為單個值
df.iloc[1, 1]
# 選取第一行及第三行的資料（包含第三行）
df.iloc[[0, 2], :]
# 選取第一行到第三行的資料（不包含第三行）
df.iloc[0:2, :]
# 選取所有記錄的第二列值，返回的為 Series
df.iloc[:, 1]
# 選取第一行資料，返回為 Series
df.iloc[0, :]

iloc 是 integer 與 location 的縮寫

顯示第三行第四列的值

# 引用 pandas 庫，並重命名為 pd
import pandas as pd

# 通過get_price函式獲取一段時間內某股票的資料
date_frame = get_price('000009.XSHE', 
                       start_date='2018-04-03', 
                       end_date='2018-04-20', frequency='daily')
date_frame.iloc[2,3]

6.1500000000000004

更廣義的切片方式是使用.ix，它自動根據給到的索引型別判斷是使用位置還是標籤進行切片，語法如下：

df.ix[1,1]
df.ix['a':'b']

顯示第二行的開盤價

# 引用 pandas 庫，並重命名為 pd
import pandas as pd

# 通過get_price函式獲取一段時間內某股票的資料
date_frame = get_price('000009.XSHE', 
                       start_date='2018-04-03', 
                       end_date='2018-04-20', frequency='daily')
date_frame.ix[1,'open']

6.1399999999999997

通過邏輯指標進行資料切片，語法如下：

df[邏輯條件]
df[df.one >= 2]  # 單個邏輯條件
df[(df.one >=1) & (df.one < 3)]  # 多個邏輯條件組合

顯示收盤價大於6.25的資料資訊

# 引用 pandas 庫，並重命名為 pd
import pandas as pd

# 通過get_price函式獲取一段時間內某股票的資料
date_frame = get_price('000009.XSHE', 
                       start_date='2018-04-03', 
                       end_date='2018-04-20', frequency='daily')
date_frame[date_frame.close > 6.25]

open	close	high	low	volume	money
2018-04-09	6.24	6.33	6.33	6.15	29313979	1.832740e+08
2018-04-10	6.32	6.26	6.33	6.16	25122114	1.565214e+08
2018-04-16	6.26	6.26	6.48	6.22	35419584	2.233821e+08

顯示收盤價大於6.25並且成交量小於26000000的資料資訊

# 引用 pandas 庫，並重命名為 pd
import pandas as pd

# 通過get_price函式獲取一段時間內某股票的資料
date_frame = get_price('000009.XSHE', 
                       start_date='2018-04-03', 
                       end_date='2018-04-20', frequency='daily')
date_frame[(date_frame.close > 6.25) & (date_frame.volume < 26000000)]

open	close	high	low	volume	money
2018-04-10	6.32	6.26	6.33	6.16	25122114	1.565214e+08

使用條件更改資料，如將大於6.25的資料都改為0

# 引用 pandas 庫，並重命名為 pd
import pandas as pd

# 通過get_price函式獲取一段時間內某股票的資料
date_frame = get_price('000009.XSHE', 
                       start_date='2018-04-03', 
                       end_date='2018-04-20', frequency='daily')
date_frame[(date_frame.close > 6.25)] = 0
date_frame

open	close	high	low	volume	money
2018-04-03	5.97	6.17	6.20	5.88	32328739	1.964467e+08
2018-04-04	6.14	6.24	6.30	6.12	28622962	1.778433e+08
2018-04-09	0.00	0.00	0.00	0.00	0	0.000000e+00
2018-04-10	0.00	0.00	0.00	0.00	0	0.000000e+00
2018-04-11	6.27	6.21	6.27	6.20	13808473	8.598230e+07
2018-04-12	6.23	6.24	6.28	6.17	17397725	1.082082e+08
2018-04-13	6.23	6.11	6.27	6.09	17134280	1.056886e+08
2018-04-16	0.00	0.00	0.00	0.00	0	0.000000e+00
2018-04-17	6.26	6.01	6.26	6.01	23077057	1.411712e+08
2018-04-18	6.05	6.09	6.12	5.90	14690685	8.846467e+07
2018-04-19	6.06	6.08	6.23	6.06	13842257	8.486182e+07
2018-04-20	6.04	5.98	6.11	5.95	12086284	7.270285e+07

資料的處理

利用函式 mean()計算列的平均值

# 引用 pandas 庫，並重命名為 pd
import pandas as pd

# 通過get_price函式獲取一段時間內某股票的資料
date_frame = get_price('000009.XSHE', 
                       start_date='2018-04-03', 
                       end_date='2018-04-20', frequency='daily')
date_frame.mean()

open      6.172500e+00
close     6.165000e+00
high      6.265000e+00
low       6.075833e+00
volume    2.190368e+07
money     1.353789e+08
dtype: float64

利用函式 mean()計算行的平均值

# 引用 pandas 庫，並重命名為 pd
import pandas as pd

# 通過get_price函式獲取一段時間內某股票的資料
date_frame = get_price('000009.XSHE', 
                       start_date='2018-04-03', 
                       end_date='2018-04-20', frequency='daily')
date_frame.mean(1)

2018-04-03    38129240.208333
2018-04-04    34411055.211667
2018-04-09    35431328.273333
2018-04-10    30273916.950000
2018-04-11    16631799.603333
2018-04-12    20934324.403333
2018-04-13    20470484.040000
2018-04-16    43133625.271667
2018-04-17    27374717.911667
2018-04-18    17192562.471667
2018-04-19    16450684.143333
2018-04-20    14131525.563333
dtype: float64

可以看出，mean()如果有引數，計算的是列，如果引數是1，計算的是行

三維陣列

如果要獲取多隻股票的資料，則返回panle物件；可以通過panle[列標, 行標, 股票程式碼]來獲取資料

# 引用 pandas 庫，並重命名為 pd
import pandas as pd

# 通過get_price函式獲取一段時間內某股票的資料
date_frame = get_price(['000009.XSHE', '000001.XSHE'], 
                       start_date='2018-04-03', 
                       end_date='2018-04-20', 
                       frequency='daily')
date_frame

<class 'pandas.core.panel.Panel'>
Dimensions: 6 (items) x 12 (major_axis) x 2 (minor_axis)
Items axis: close to volume
Major_axis axis: 2018-04-03 00:00:00 to 2018-04-20 00:00:00
Minor_axis axis: 000009.XSHE to 000001.XSHE

對這個輸出結果的解析：

Items axis: close to volume - 列標
Major_axis axis: 2018-04-03 00:00:00 to 2018-04-20 00:00:00 - 行標
Minor_axis axis: 000009.XSHE to 000001.XSHE - 股票程式碼

顯示兩隻股票的收盤價資訊

# 引用 pandas 庫，並重命名為 pd
import pandas as pd

# 通過get_price函式獲取一段時間內某股票的資料
date_frame = get_price(['000009.XSHE', '000001.XSHE'], 
                       start_date='2018-04-03', 
                       end_date='2018-04-20', 
                       frequency='daily')
date_frame['close',:,:]

000009.XSHE	000001.XSHE
2018-04-03	6.17	10.40
2018-04-04	6.24	10.71
2018-04-09	6.33	10.85
2018-04-10	6.26	11.25
2018-04-11	6.21	11.65
2018-04-12	6.24	11.35
2018-04-13	6.11	11.40
2018-04-16	6.26	10.93
2018-04-17	6.01	11.04
2018-04-18	6.09	11.33
2018-04-19	6.08	11.30
2018-04-20	5.98	11.18

顯示兩隻股票2018年4月16日的資料資訊

# 引用 pandas 庫，並重命名為 pd
import pandas as pd

# 通過get_price函式獲取一段時間內某股票的資料
date_frame = get_price(['000009.XSHE', '000001.XSHE'], 
                       start_date='2018-04-03', 
                       end_date='2018-04-20', 
                       frequency='daily')
date_frame[:,'2018-04-16',:]

close	high	low	money	open	volume
000009.XSHE	6.26	6.48	6.22	2.233821e+08	6.26	35419584
000001.XSHE	10.93	11.30	10.86	1.593706e+09	11.30	144892608

顯示平安銀行000001.XSHE的資料資訊

# 引用 pandas 庫，並重命名為 pd
import pandas as pd

# 通過get_price函式獲取一段時間內某股票的資料
date_frame = get_price(['000009.XSHE', '000001.XSHE'], 
                       start_date='2018-04-03', 
                       end_date='2018-04-20', 
                       frequency='daily')
date_frame[:,:,'000001.XSHE']

close	high	low	money	open	volume
2018-04-03	10.40	10.51	10.35	9.422378e+08	10.44	90438595
2018-04-04	10.71	10.84	10.44	1.737259e+09	10.52	162702821
2018-04-09	10.85	10.93	10.57	1.180084e+09	10.64	109125449
2018-04-10	11.25	11.29	10.80	1.562265e+09	10.85	141225091
2018-04-11	11.65	11.74	11.21	2.458982e+09	11.22	212806679
2018-04-12	11.35	11.65	11.25	1.364676e+09	11.62	119109271
2018-04-13	11.40	11.61	11.28	1.516156e+09	11.46	132016725
2018-04-16	10.93	11.30	10.86	1.593706e+09	11.30	144892608
2018-04-17	11.04	11.28	10.94	1.468159e+09	10.95	132182805
2018-04-18	11.33	11.43	11.11	1.692723e+09	11.28	149844547
2018-04-19	11.30	11.51	11.25	9.795936e+08	11.35	86213489
2018-04-20	11.18	11.41	11.03	1.090801e+09	11.34	97337143

注：本文章為個人學習筆記，參考了一些書籍與官方教程，不作任何商業用途！

量化交易入門筆記-Pandas庫

一維陣列 Series

二維陣列 DataFrame

建立 DataFrame

檢視資料

選擇資料

資料的處理

三維陣列

量化交易入門筆記-Pandas庫

量化交易入門筆記-Numpy庫

量化交易入門筆記-資料獲取函式二

量化交易入門筆記-資料獲取函式一

量化交易入門筆記-Datetime和Time模組

量化交易入門筆記-KD指標策略

量化交易入門筆記-能量型指標策略

量化交易入門筆記-MACD指標策略

量化交易入門筆記-策略回測與評估

量化交易入門筆記-多股票持倉策略

量化交易入門筆記-多股票追漲策略

量化交易入門筆記-策略結構

量化交易入門筆記-小市值股票策略

量化交易入門書籍推薦

量化交易學習筆記(一) ---- 量化交易基本名詞概念

量化交易入門（自學第一天）——股票（一）

量化交易課程筆記（一）——理工生跨界做量化的開啟姿勢

【機器學習】Numpy&Pandas 快速入門筆記

《Python量化交易教程》第一部分新手入門第1天：誰來給我講講Python？

使用pandas時間視窗函式rolling完成量化交易之移動平均線

量化交易入門筆記-Pandas庫

一維陣列 Series

二維陣列 DataFrame

建立 DataFrame

檢視資料

選擇資料

資料的處理

三維陣列

相關推薦