python資料分析工具pandas中DataFrame和Series作為主要的資料結構.
本文主要是介紹如何對DataFrame資料進行操作並結合一個例項測試操作函式。
1）檢視DataFrame資料及屬性

df_obj = DataFrame() #建立DataFrame物件
df_obj.dtypes #檢視各行的資料格式
df_obj['列名'].astype(int)#轉換某列的資料型別
df_obj.head() #檢視前幾行的資料,預設前5行
df_obj.tail() #檢視後幾行的資料,預設後5行
df_obj.index #檢視索引
df_obj.columns #檢視列名
 

df_obj.values #檢視資料值
df_obj.describe() #描述性統計
df_obj.T #轉置
df_obj.sort_values(by=['',''])#同上

2）使用DataFrame選擇資料:

df_obj.ix[1:3] #獲取1-3行的資料,該操作叫切片操作,獲取行資料
df_obj.ix[columns_index] #獲取列的資料
df_obj.ix[1:3，[1,3]]#獲取1列3列的1~3行資料
df_obj[columns].drop_duplicates() #剔除重複行資料

3）使用DataFrame重置資料:

df_obj.ix[1
 
:3，[1,3]]=1#所選位置資料替換為1

4）使用DataFrame篩選資料(類似SQL中的WHERE):

alist = ['023-18996609823']
df_obj['使用者號碼'].isin(alist) #將要過濾的資料放入字典中,使用isin對資料進行篩選,返回行索引以及每行篩選的結果,若匹配則返回ture
df_obj[df_obj['使用者號碼'].isin(alist)] #獲取匹配結果為ture的行

5）使用DataFrame模糊篩選資料(類似SQL中的LIKE):

df_obj[df_obj['套餐'].str.contains(r'.*?語音CDMA.*'
 
)] #使用正則表示式進行模糊匹配,*匹配0或無限次,?匹配0或1次

6）使用DataFrame進行資料轉換(後期補充說明)

df_obj['支局_維護線'] = df_obj['支局_維護線'].str.replace('巫溪分公司(.{2,})支局','\\1')#可以使用正則表示式

可以設定take_last=ture 保留最後一個,或保留開始一個.補充說明:注意take_last=ture已過時,請使用keep=’last’
7）使用pandas中讀取資料:

read_csv('D:\LQJ.csv',sep=';',nrows=2) #首先輸入csv文字地址,然後分割符選擇等等
df.to_excel('foo.xlsx',sheet_name='Sheet1');pd.read_excel('foo.xlsx', 'Sheet1', index_col=None, na_values=['NA'])#寫入讀取excel資料，pd.read_excel讀取的資料是以DataFrame形式儲存
df.to_hdf('foo.h5','df');pd.read_hdf('foo.h5','df')#寫入讀取HDF5資料

8）使用pandas聚合資料(類似SQL中的GROUP BY 或HAVING):

data_obj['使用者標識'].groupby(data_obj['支局_維護線'])
data_obj.groupby('支局_維護線')['使用者標識'] #上面的簡單寫法
adsl_obj.groupby('支局_維護線')['使用者標識'].agg([('ADSL','count')])#按支局進行彙總對使用者標識進行計數,並將計數列的列名命名為ADSL

9）使用pandas合併資料集(類似SQL中的JOIN):

merge(mxj_obj2, mxj_obj1 ,on='使用者標識',how='inner')# mxj_obj1和mxj_obj2將使用者標識當成重疊列的鍵合併兩個資料集,inner表示取兩個資料集的交集.

10）清理資料

df[df.isnull()]
df[df.notnull()]
df.dropna()#將所有含有nan項的row刪除
df.dropna(axis=1,thresh=3) #將在列的方向上三個為NaN的項刪除
df.dropna(how='ALL')#將全部項都是nan的row刪除填充值
df.fillna(0)
df.fillna({1:0,2:0.5}) #對第一列nan值賦0，第二列賦值0.5
df.fillna(method='ffill') #在列方向上以前一個值作為值賦給NaN

例項

1. 讀取excel資料
程式碼如下

import pandas as pd# 讀取高爐資料，注意檔名不能為中文
data=pd.read_excel('gaolushuju_201501-03.xlsx', '201501', index_col=None, na_values=['NA'])
print data

測試結果如下

      燃料比  頂溫西南  頂溫西北  頂溫東南  頂溫東北
0   531.46   185   176   176   174
1   510.35   184   173   184   188
2   533.49   180   165   182   177
3   511.51   190   172   179   188
4   531.02   180   167   173   180
5   511.24   174   164   178   176
6   532.62   173   170   168   179
7   583.00   182   175   176   173
8   530.70   158   149   159   156
9   530.32   168   156   169   171
10  528.62   164   150   171   169

2. 切片處理，選取行或列，修改資料
程式碼如下：

data_1row=data.ix[1]
data_5row_2col=data.ix[0:5,[u'燃料比',u'頂溫西南']
print data_1row,data_5row_2col
data_5row_2col.ix[0:1,0:2]=3

測試結果如下：

燃料比     510.35
頂溫西南    184.00
頂溫西北    173.00
頂溫東南    184.00
頂溫東北    188.00
Name: 1, dtype: float64    
   燃料比  頂溫西南
0  531.46   185
1  510.35   184
2  533.49   180
3  511.51   190
4  531.02   180
5  511.24   174
      燃料比  頂溫西南
0    3.00     3
1    3.00     3
2  533.49   180
3  511.51   190
4  531.02   180
5  511.24   174

格式說明，data_5row_2col.ix[0:1,0:2]，data_5row_2col.ix[0:1,[0,2]],選取部分行和列需加”[]”
3. 排序
程式碼如下：

print data_1row.sort_values()
print data_5row_2col.sort_values(by=u'燃料比')

測試結果如下：

頂溫西北    173.00
頂溫西南    184.00
頂溫東南    184.00
頂溫東北    188.00
燃料比     510.35
Name: 1, dtype: float64
      燃料比  頂溫西南
1  510.35   184
5  511.24   174
3  511.51   190
4  531.02   180
0  531.46   185
2  533.49   180

4. 刪除重複的行
程式碼如下：

print data_5row_2col[u'頂溫西南'].drop_duplicates()#剔除重複行資料

測試結果如下：

0    185
1    184
2    180
3    190
5    174
Name: 頂溫西南, dtype: int64

說明：從測試結果3中可以看出頂溫西南index=2的資料與index=4的資料重複，測試結果4顯示將index=4的頂溫西南資料刪除