轉自：https://blog.csdn.net/xinxing__8185/article/details/48022401

今天筆者想對pandas中的行進行去重操作，找了好久，才找到相關的函式

先看一個小例子

from pandas import Series, DataFrame
 
data = DataFrame({'k': [1, 1, 2, 2]})
 
print data
 
IsDuplicated = data.duplicated()
 
print IsDuplicated
print type(IsDuplicated)
 
data = data.drop_duplicates()
print data
 
 

執行結果是：

   k
0  1
1  1
2  2
3  2

0    False
1     True
2    False
3     True

   k
0  1
2  2

DataFrame的duplicated方法返回一個布林型Series,表示各行是否重複行。

而 drop_duplicates方法，它用於返回一個移除了重複行的DataFrame

這兩個方法會判斷全部列，你也可以指定部分列進行重複項判段。

例如，希望對名字為k2的列進行去重，

data.drop_duplicates(['k2'])