Pandas使用一個二維的資料結構DataFrame來表示表格式的資料，相比較於Numpy，Pandas可以儲存混合的資料結構，同時使用NaN來表示缺失的資料，而不用像Numpy一樣要手工處理缺失的資料，並且Pandas使用軸標籤來表示行和列

1、檔案讀取
首先將用到的pandas和numpy載入進來
import pandas as pd
import numpy as np
讀取資料：
#csv和xlsx分別用read_csv和read_xlsx，下面以csv為例

df=pd.read_csv('f:\1024.csv') 

2、檢視資料
​
df.head()  
​
#默認出5行，​括號裡可以填其他資料
​
3、檢視資料型別
​
df.dtypes
​
4、利用現有資料生成一列新資料
​
比如：max_time和min_time是現有的兩列，現在業務需要生成一列gs，gs=max_time-min_time
​
df.['gs']=df.['max_time']-['min_time']
​
#檢視是否成功
​
df.head()
​
5、檢視基本統計量
​
df.describe(include='all')     # all代表需要將所有列都列出

通常來說，資料是CSV格式，就算不是，至少也可以轉換成CSV格式。在Python中，我們的操作如下：

import pandas as pd

# Reading data locally

df = pd.read_csv('/Users/al-ahmadgaidasaad/Documents/d.csv')

# Reading data from web

df = pd.read_csv(data_url)

為了讀取本地CSV檔案，我們需要pandas這個資料分析庫中的相應模組。

其中的read_csv函式能夠讀取本地和web資料。

# Head of the data

print df.head()

# OUTPUT

    Abra  Apayao  Benguet  Ifugao  Kalinga

0   1243    2934      148    3300    10553

1   4158    9235     4287    8063    35257

2   1787    1922     1955    1074     4544

3  17152   14501     3536   19607    31687

4   1266    2385     2530    3315     8520

# Tail of the data

print df.tail()

# OUTPUT

     Abra  Apayao  Benguet  Ifugao  Kalinga

74   2505   20878     3519   19737    16513

75  60303   40065     7062   19422    61808

76   6311    6756     3561   15910    23349

77  13345   38902     2583   11096    68663

78   2623   18264     3745   16787    16900

上述操作等價於通過print(head(df))來列印資料的前6行，以及通過print(tail(df))來列印資料的後6行。

當然Python中，預設列印是5行，而R則是6行。因此R的程式碼head(df, n = 10)，

在Python中就是df.head(n = 10)，列印資料尾部也是同樣道理。

在Python中，我們則使用columns和index屬性來提取，如下：

# Extracting column names

print df.columns

# OUTPUT

Index([u'Abra', u'Apayao', u'Benguet', u'Ifugao', u'Kalinga'], dtype='object')

# Extracting row names or the index

print df.index

# OUTPUT

Int64Index([0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30], dtype='int64')

資料轉置使用T方法，

# Transpose data

print df.T

# OUTPUT

            0      1     2      3     4      5     6      7     8      9  

Abra      1243   4158  1787  17152  1266   5576   927  21540  1039   5424  

Apayao    2934   9235  1922  14501  2385   7452  1099  17038  1382  10588  

Benguet    148   4287  1955   3536  2530    771  2796   2463  2592   1064  

Ifugao    3300   8063  1074  19607  3315  13134  5134  14226  6842  13828  

Kalinga  10553  35257  4544  31687  8520  28252  3106  36238  4973  40140  

         ...       69     70     71     72     73     74     75     76     77  

Abra     ...    12763   2470  59094   6209  13316   2505  60303   6311  13345  

Apayao   ...    37625  19532  35126   6335  38613  20878  40065   6756  38902  

Benguet  ...     2354   4045   5987   3530   2585   3519   7062   3561   2583  

Ifugao   ...     9838  17125  18940  15560   7746  19737  19422  15910  11096  

Kalinga  ...    65782  15279  52437  24385  66148  16513  61808  23349  68663  

            78  

Abra      2623  

Apayao   18264  

Benguet   3745  

Ifugao   16787  

Kalinga  16900  

其他變換，例如排序就是用sort屬性。現在我們提取特定的某列資料。

Python中，可以使用iloc或者ix屬性。但是我更喜歡用ix，因為它更穩定一些。假設我們需資料第一列的前5行，我們有：

print df.ix[:, 0].head()

# OUTPUT

0     1243

1     4158

2     1787

3    17152

4     1266

Name: Abra, dtype: int64

順便提一下，Python的索引是從0開始而非1。為了取出從11到20行的前3列資料，我們有：

print df.ix[10:20, 0:3]

# OUTPUT

    Abra  Apayao  Benguet

10    981    1311     2560

11  27366   15093     3039

12   1100    1701     2382

13   7212   11001     1088

14   1048    1427     2847

15  25679   15661     2942

16   1055    2191     2119

17   5437    6461      734

18   1029    1183     2302

19  23710   12222     2598

20   1091    2343     2654

上述命令相當於df.ix[10:20, ['Abra', 'Apayao', 'Benguet']]。

為了捨棄資料中的列，這裡是列1(Apayao)和列2(Benguet)，我們使用drop屬性，如下：

print df.drop(df.columns[[1, 2]], axis = 1).head()

# OUTPUT

    Abra  Ifugao  Kalinga

0   1243    3300    10553

1   4158    8063    35257

2   1787    1074     4544

3  17152   19607    31687

4   1266    3315     8520

axis 引數告訴函式到底捨棄列還是行。如果axis等於0，那麼就捨棄行。

統計描述

下一步就是通過describe屬性，對資料的統計特性進行描述：

print df.describe()

# OUTPUT

               Abra        Apayao      Benguet        Ifugao       Kalinga

count     79.000000     79.000000    79.000000     79.000000     79.000000

mean   12874.379747  16860.645570  3237.392405  12414.620253  30446.417722

std    16746.466945  15448.153794  1588.536429   5034.282019  22245.707692

min      927.000000    401.000000   148.000000   1074.000000   2346.000000

25%     1524.000000   3435.500000  2328.000000   8205.000000   8601.500000

50%     5790.000000  10588.000000  3202.000000  13044.000000  24494.000000

75%    13330.500000  33289.000000  3918.500000  16099.500000  52510.500000

max    60303.000000  54625.000000  8813.000000  21031.000000  68663.000000

Python有一個很好的統計推斷包。那就是scipy裡面的stats。ttest_1samp實現了單樣本t檢驗。因此，如果我們想檢驗資料Abra列的稻穀產量均值，通過零假設，這裡我們假定總體稻穀產量均值為15000，我們有：

 from scipy import stats as ss

# Perform one sample t-test using 1500 as the true mean

print ss.ttest_1samp(a = df.ix[:, 'Abra'], popmean = 15000)

# OUTPUT

(-1.1281738488299586, 0.26270472069109496)

返回下述值組成的元祖：

t : 浮點或陣列型別

t統計量

prob : 浮點或陣列型別

two-tailed p-value 雙側概率值

通過上面的輸出，看到p值是0.267遠大於α等於0.05，因此沒有充分的證據說平均稻穀產量不是150000。將這個檢驗應用到所有的變數，同樣假設均值為15000，我們有：

print ss.ttest_1samp(a = df, popmean = 15000)

# OUTPUT

(array([ -1.12817385,   1.07053437, -65.81425599,  -4.564575  ,   6.17156198]),

array([  2.62704721e-01,   2.87680340e-01,   4.15643528e-70,

          1.83764399e-05,   2.82461897e-08]))

第一個陣列是t統計量，第二個陣列則是相應的p值。

視覺化

Python中有許多視覺化模組，最流行的當屬matpalotlib庫。稍加提及，我們也可選擇bokeh和seaborn模組。之前的博文中，我已經說明了matplotlib庫中的盒須圖模組功能。

# Import the module for plotting

import matplotlib.pyplot as plt

plt.show(df.plot(kind = 'box'))

現在，我們可以用pandas模組中整合R的ggplot主題來美化圖表。要使用ggplot，我們只需要在上述程式碼中多加一行，

import matplotlib.pyplot as plt

pd.options.display.mpl_style = 'default' # Sets the plotting display theme to ggplot2

df.plot(kind = 'box')

# Import the seaborn library

import seaborn as sns

# Do the boxplot

plt.show(sns.boxplot(df, widths = 0.5, color = "pastel"))

import numpy as np

import scipy.stats as ss

def case(n = 10, mu = 3, sigma = np.sqrt(5), p = 0.025, rep = 100):

    m = np.zeros((rep, 4))

    for i in range(rep):

        norm = np.random.normal(loc = mu, scale = sigma, size = n)

        xbar = np.mean(norm)

        low = xbar - ss.norm.ppf(q = 1 - p) * (sigma / np.sqrt(n))

        up = xbar + ss.norm.ppf(q = 1 - p) * (sigma / np.sqrt(n))

        if (mu > low) & (mu < up):

            rem = 1

        else:

            rem = 0

        m[i, :] = [xbar, low, up, rem]

    inside = np.sum(m[:, 3])

    per = inside / rep

    desc = "There are " + str(inside) + " confidence intervals that contain "

           "the true mean (" + str(mu) + "), that is " + str(per) + " percent of the total CIs"

    return {"Matrix": m, "Decision": desc}

import numpy as np

import scipy.stats as ss

def case2(n = 10, mu = 3, sigma = np.sqrt(5), p = 0.025, rep = 100):

    scaled_crit = ss.norm.ppf(q = 1 - p) * (sigma / np.sqrt(n))

    norm = np.random.normal(loc = mu, scale = sigma, size = (rep, n))

    xbar = norm.mean(1)

    low = xbar - scaled_crit

    up = xbar + scaled_crit

    rem = (mu > low) & (mu < up)

    m = np.c_[xbar, low, up, rem]

    inside = np.sum(m[:, 3])

    per = inside / rep

    desc = "There are " + str(inside) + " confidence intervals that contain "

           "the true mean (" + str(mu) + "), that is " + str(per) + " percent of the total CIs"

    return {"Matrix": m, "Decision": desc}

讀取資料

Pandas使用函式read_csv()來讀取csv檔案

import pandas

food_info = ('food_info.csv')
print(type(food_info))

# 輸出：<class 'pandas.core.frame.DataFrame'> 可見讀取後變成一個DataFrame變數

該檔案的內容如下：

使用函式head( m )來讀取前m條資料，如果沒有引數m，預設讀取前五條資料

first_rows = food_info.head()

first_rows = food_info.head(3)

由於DataFrame包含了很多的行和列，

Pandas使用省略號（...）來代替顯示全部的行和列，可以使用colums屬性來顯示全部的列名

print(food_info.columns)

# 輸出：輸出全部的列名，而不是用省略號代替

Index(['NDB_No', 'Shrt_Desc', 'Water_(g)', 'Energ_Kcal', 'Protein_(g)', 'Lipid_Tot_(g)', 'Ash_(g)', 'Carbohydrt_(g)', 'Fiber_TD_(g)', 'Sugar_Tot_(g)', 'Calcium_(mg)', 'Iron_(mg)', 'Magnesium_(mg)', 'Phosphorus_(mg)', 'Potassium_(mg)', 'Sodium_(mg)', 'Zinc_(mg)', 'Copper_(mg)', 'Manganese_(mg)', 'Selenium_(mcg)', 'Vit_C_(mg)', 'Thiamin_(mg)', 'Riboflavin_(mg)', 'Niacin_(mg)', 'Vit_B6_(mg)', 'Vit_B12_(mcg)', 'Vit_A_IU', 'Vit_A_RAE', 'Vit_E_(mg)', 'Vit_D_mcg', 'Vit_D_IU', 'Vit_K_(mcg)', 'FA_Sat_(g)', 'FA_Mono_(g)', 'FA_Poly_(g)', 'Cholestrl_(mg)'], dtype='object')

可以使用tolist()函式轉化為list

food_info.columns.tolist()

與Numpy一樣，用shape屬性來顯示資料的格式

dimensions = food_info.shapeprint(dimensions)
print(dimensions)
​

輸出：(8618,36) ，

其中dimensions[0]為8618，dimensions[1]為36

與Numpy一樣，用dtype屬性來顯示資料型別，Pandas主要有以下幾種dtype：

• object -- 代表了字串型別

• int -- 代表了整型

• float -- 代表了浮點數型別

• datetime -- 代表了時間型別

• bool -- 代表了布林型別

當讀取了一個檔案之後，Pandas會通過分析值來推測每一列的資料型別

print()

輸出：每一列對應的資料型別

NDB_No            int64

Shrt_Desc           object

Water_(g)           float64

Energ_Kcal          int64

Protein_(g)          float64

...

索引

讀取了檔案後，Pandas會把檔案的一行作為列的索引標籤，使用行數字作為行的索引標籤

注意，行標籤是從數字0開始的

Pandas使用Series資料結構來表示一行或一列的資料，類似於Numpy使用向量來表示資料。Numpy只能使用數字來索引，而Series可以使用非數字來索引資料，當你選擇返回一行資料的時候，Series並不僅僅返回該行的資料，同時還有每一列的標籤的名字。

譬如要返回檔案的第一行資料，Numpy就會返回一個列表（但你可能不知道每一個數字究竟代表了什麼）

而Pandas則會同時把每一列的標籤名返回（此時就很清楚資料的意思了）

選擇資料

Pandas使用loc[]方法來選擇行的資料

# 選擇單行資料：

food_info.loc[0]   # 選擇行標號為0的資料，即第一行資料
food_info.loc[6]   # 選擇行標號為6的資料，即第七行資料

# 選擇多行資料：

food_info.loc[3:6] # 使用了切片，注意：由於這裡使用loc[]函式，所以返回的是行標號為3，4，5，6的資料，與python的切片不同的是這裡會返回最後的標號代表的資料，但也可以使用python的切片方法：food_info[3:7]

food_info.loc[[2,5,10]] # 返回行標號為2，5，10三行資料

練習：返回檔案的最後五行

方法一：

length = food_info.shape[0]

last_rows = food_info.loc[length-5:length-1]

方法二：

num_rows = food_info.shape[0]

last_rows = food_info[num_rows-5:num_rows]

Pandas直接把列名稱填充就能返回該列的資料

ndb_col = food_info["NDB_No"] # 返回列名稱為NDB_No的那一列的資料

zinc_copper = food_info[["Zinc_(mg)", "Copper_(mg)"]] # 返回兩列資料

簡單運算

現在要按照如下公式計算所有食物的健康程度，並按照降序的方式排列結果：

Score=2×(Protein_(g))−0.75×(Lipid_Tot_(g))

對DataFrame中的某一列資料進行算術運算，其實是對該列中的所有元素進行逐一的運算，譬如：

water_energy = food_info["Water_(g)"] * food_info["Energ_Kcal"]

原理：

由於每一列的資料跨度太大，有的資料是從0到100000，而有的資料是從0到10，所以為了儘量減少資料尺度對運算結果的影響，採取最簡單的方法來規範化資料，那就是將每個數值都除以該列的最大值，從而使所有資料都處於0和1之間。其中max()函式用來獲取該列的最大值.

food_info['Normalized_Protein'] = food_info['Protein_(g)'] / food_info['Protein_(g)'].max()

food_info['Normalized_Fat'] = food_info['Lipid_Tot_(g)'] / food_info['Lipid_Tot_(g)'].max()

food_info['Norm_Nutr_Index'] = food_info["Normalized_Protein"] * 2 - food_info["Normalized_Fat"] * 0.75

注意：上面的兩個語句已經在原來的DataFrame中添加了三列，列名分別為Normalized_Protein和Normalized_Fat，Norm_Nutr_Index。只需要使用中括號和賦值符就能新增新列，類似於字典

對DataFrame的某一列資料排序，只需要使用函式sort()即可

food_info.sort("Sodium_(mg)") # 函式引數為列名，預設是按照升序排序，同時返回一個新的

DataFramefood_info.sort("Norm_Nutr_Index", inplace=True, ascending=False ) 

# 通過inplace引數來控制在原表排序，而不是返回一個新的物件；ascending引數用來控制是否升序排序

import pandas as pd

read_csv()

讀寫csv資料

df = pd.read_csv(path): 讀入csv檔案，形成一個數據框(data.frame)

df = pd.read_csv(path, header=None) 不要把第一行作為header

to_csv()

* 注意，預設會將第一行作為header，並且預設會新增index，所以不需要的話需要手動禁用 *

df.to_csv(path, header=False, index=False)

資料框操作

df.head(1) 讀取頭幾條資料

df.tail(1) 讀取後幾條資料

df[‘date’] 獲取資料框的date列

df.head(1)[‘date’] 獲取第一行的date列

df.head(1)[‘date’][0] 獲取第一行的date列的元素值

sum(df[‘ability’]) 計算整個列的和

df[df[‘date’] == ‘20161111’] 獲取符合這個條件的行

df[df[‘date’] == ‘20161111’].index[0] 獲取符合這個條件的行的行索引的值

df.iloc[1] 獲取第二行

df.iloc[1][‘test2’] 獲取第二行的test2值

10 mins to pandas 
df.index 獲取行的索引

df.index[0] 獲取第一個行索引

df.index[-1] 獲取最後一個行索引,只是獲取索引值

df.columns 獲取列標籤