1. 程式人生 > >python中pandas庫中DataFrame對行和列的操作使用方法

python中pandas庫中DataFrame對行和列的操作使用方法

用pandas中的DataFrame時選取行或列:

import numpy as np
import pandas as pd
from pandas import Sereis, DataFrame

ser = Series(np.arange(3.))

data = DataFrame(np.arange(16).reshape(4,4),index=list('abcd'),columns=list('wxyz'))

data['w']  #選擇表格中的'w'列,使用類字典屬性,返回的是Series型別

data.w    #選擇表格中的'w'列,使用點屬性,返回的是Series
型別
data[['w']] #選擇表格中的'w'列,返回的是DataFrame型別 data[['w','z']] #選擇表格中的'w'、'z'列 data[0:2] #返回第1行到第2行的所有行,前閉後開,包括前不包括後 data[1:2] #返回第2行,從0計,返回的是單行,通過有前後值的索引形式, #如果採用data[1]則報錯 data.ix[1:2] #返回第2行的第三種方法,返回的是DataFrame,跟data[1:2]同 data['a':'b'] #利用index值進行切片,返回的是**前閉後閉**的DataFrame, #即末端是包含的 #——————新版本pandas已捨棄該方法,用iloc代替———————
data.irow(0) #取data的第一行 data.icol(0) #取data的第一列 ser.iget_value(0) #選取ser序列中的第一個 ser.iget_value(-1) #選取ser序列中的最後一個,這種軸索引包含索引器的series不能採用ser[-1]去獲取最後一個,這會引起歧義。 #————————————————————————————----------------- data.head() #返回data的前幾行資料,預設為前五行,需要前十行則data.head(10) data.tail() #返回data的後幾行資料,預設為後五行,需要後十行則data
.tail(10)
data.iloc[-1] #選取DataFrame最後一行,返回的是Series data.iloc[-1:] #選取DataFrame最後一行,返回的是DataFrame data.loc['a',['w','x']] #返回‘a’行'w'、'x'列,這種用於選取行索引列索引已知 data.iat[1,1] #選取第二行第二列,用於已知行、列位置的選取。
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45

下面是簡單的例子使用驗證:

import pandas as pd
from pandas import Series, DataFrame
import numpy as np

data = DataFrame(np.arange(15).reshape(3,5),index=['one','two','three'],columns=['a','b','c','d','e'])

data
Out[7]: 
        a   b   c   d   e
one     0   1   2   3   4
two     5   6   7   8   9
three  10  11  12  13  14

#對列的操作方法有如下幾種

data.icol(0)   #選取第一列
E:\Anaconda2\lib\site-packages\spyder\utils\ipython\start_kernel.py:1: FutureWarning: icol(i) is deprecated. Please use .iloc[:,i]
  # -*- coding: utf-8 -*-
Out[35]: 
one       0
two       5
three    10
Name: a, dtype: int32

data['a']
Out[8]: 
one       0
two       5
three    10
Name: a, dtype: int32

data.a
Out[9]: 
one       0
two       5
three    10
Name: a, dtype: int32

data[['a']]
Out[10]: 
        a
one     0
two     5
three  10

data.ix[:,[0,1,2]]  #不知道列名只知道列的位置時
Out[13]: 
        a   b   c
one     0   1   2
two     5   6   7
three  10  11  12

data.ix[1,[0]]  #選擇第2行第1列的值
Out[14]: 
a    5
Name: two, dtype: int32

data.ix[[1,2],[0]]   #選擇第2,3行第1列的值
Out[15]: 
        a
two     5
three  10

data.ix[1:3,[0,2]]  #選擇第2-4行第1、3列的值
Out[17]: 
        a   c
two     5   7
three  10  12

data.ix[1:2,2:4]  #選擇第2-3行,3-5(不包括5)列的值
Out[29]: 
     c  d
two  7  8

data.ix[data.a>5,3]
Out[30]: 
three    13
Name: d, dtype: int32

data.ix[data.b>6,3:4]  #選擇'b'列中大於6所在的行中的第4列,有點拗口
Out[31]: 
        d
three  13

data.ix[data.a>5,2:4]  #選擇'a'列中大於5所在的行中的第3-5(不包括5)列
Out[32]: 
        c   d
three  12  13

data.ix[data.a>5,[2,2,2]]  #選擇'a'列中大於5所在的行中的第2列並重復3次
Out[33]: 
        c   c   c
three  12  12  12

#還可以行數或列數跟行名列名混著用
data.ix[1:3,['a','e']]
Out[24]: 
        a   e
two     5   9
three  10  14

data.ix['one':'two',[2,1]]
Out[25]: 
     c  b
one  2  1
two  7  6

data.ix[['one','three'],[2,2]]
Out[26]: 
        c   c
one     2   2
three  12  12

data.ix['one':'three',['a','c']]
Out[27]: 
        a   c
one     0   2
two     5   7
three  10  12

data.ix[['one','one'],['a','e','d','d','d']]
Out[28]: 
     a  e  d  d  d
one  0  4  3  3  3
one  0  4  3  3  3

#對行的操作有如下幾種:
data[1:2]  #(不知道列索引時)選擇第2行,不能用data[1],可以用data.ix[1]
Out[18]: 
     a  b  c  d  e
two  5  6  7  8  9

data.irow(1)   #選取第二行
Out[36]: 
a    5
b    6
c    7
d    8
e    9
Name: two, dtype: int32

data.ix[1]   #選擇第2行
Out[20]: 
a    5
b    6
c    7
d    8
e    9
Name: two, dtype: int32


data['one':'two']  #當用已知的行索引時為前閉後閉區間,這點與切片稍有不同。
Out[22]: 
     a  b  c  d  e
one  0  1  2  3  4
two  5  6  7  8  9

data.ix[1:3]  #選擇第2到4行,不包括第4行,即前閉後開區間。
Out[23]: 
        a   b   c   d   e
two     5   6   7   8   9
three  10  11  12  13  14

data.ix[-1:]  #取DataFrame中最後一行,返回的是DataFrame型別,**注意**這種取法是有使用條件的,只有當行索引不是數字索引時才可以使用,否則可以選用`data[-1:]`--返回DataFrame型別或`data.irow(-1)`--返回Series型別
Out[11]: 
        a   b   c   d   e
three  10  11  12  13  14

data[-1:]  #跟上面一樣,取DataFrame中最後一行,返回的是DataFrame型別
Out[12]: 
        a   b   c   d   e
three  10  11  12  13  14

data.ix[-1] #取DataFrame中最後一行,返回的是Series型別,這個一樣,行索引不能是數字時才可以使用
Out[13]: 
a    10
b    11
c    12
d    13
e    14
Name: three, dtype: int32

data.tail(1)   #返回DataFrame中的最後一行
data.head(1)   #返回DataFrame中的第一行

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69
  • 70
  • 71
  • 72
  • 73
  • 74
  • 75
  • 76
  • 77
  • 78
  • 79
  • 80
  • 81
  • 82
  • 83
  • 84
  • 85
  • 86
  • 87
  • 88
  • 89
  • 90
  • 91
  • 92
  • 93
  • 94
  • 95
  • 96
  • 97
  • 98
  • 99
  • 100
  • 101
  • 102
  • 103
  • 104
  • 105
  • 106
  • 107
  • 108
  • 109
  • 110
  • 111
  • 112
  • 113
  • 114
  • 115
  • 116
  • 117
  • 118
  • 119
  • 120
  • 121
  • 122
  • 123
  • 124
  • 125
  • 126
  • 127
  • 128
  • 129
  • 130
  • 131
  • 132
  • 133
  • 134
  • 135
  • 136
  • 137
  • 138
  • 139
  • 140
  • 141
  • 142
  • 143
  • 144
  • 145
  • 146
  • 147
  • 148
  • 149
  • 150
  • 151
  • 152
  • 153
  • 154
  • 155
  • 156
  • 157
  • 158
  • 159
  • 160
  • 161
  • 162
  • 163
  • 164
  • 165
  • 166
  • 167
  • 168
  • 169
  • 170
  • 171
  • 172
  • 173
  • 174
  • 175
  • 176
  • 177
  • 178
  • 179
  • 180
  • 181
  • 182
  • 183
  • 184
  • 185
  • 186

最近處理資料時發現當pd.read_csv()資料時有時候會有讀取到未命名的列,且該列也用不到,一般是索引列被換掉後導致的,有強迫症的看著難受,這時候dataframe.drop([columns,])是沒法處理的,怎麼辦呢, 
最笨的方法是直接給列索引重新命名:

data6

        Unnamed: 0  high    symbol  time
date                
2016-11-01  0   3317.4  IF1611  18:10:44.8
2016-11-01  1   3317.4  IF1611  06:01:04.5
2016-11-01  2   3317.4  IF1611  07:46:25.5
2016-11-01  3   3318.4  IF1611  09:30:04.0
2016-11-01  4   3321.8  IF1611  09:31:04.0

data6.columns = list('abcd')

data6

    a   b   c   d
date                
2016-11-01  0   3317.4  IF1611  18:10:44.8
2016-11-01  1   3317.4  IF1611  06:01:04.5
2016-11-01  2   3317.4  IF1611  07:46:25.5
2016-11-01  3   3318.4  IF1611  09:30:04.0
2016-11-01  4   3321.8  IF1611  09:31:04.0
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22

重新命名後就可以用dataframe.drop([columns])來刪除了,當然不用我這樣全部給列名替換掉了,可以只是改變未命名的那個列,然後刪除。不過這個用起來總是覺得有點low,有沒有更好的方法呢,有,可以不去刪除,直接:

data7 = data6.ix[:,1:]
  • 1

這樣既不改變原有資料,也達到了刪除神煩列,當然我這裡時第0列刪除,可以根據實際選擇所在的列刪除之,至於這個原理,可以看下前面的對列的操作。