pandas dataframe去除重複資料pandas.DataFrame.drop_duplicates

阿新 • • 發佈：2018-11-02

例子：

        df2 = pd.DataFrame({'工參中沒有的cgi': self.mismatchedcgis})
        # subset='工參中沒有的cgi' 表示只考慮列名為：工參中沒有的cgi 這一列的重複項，不設則需考慮全部列，也可以設成多列
        # inplace=True是直接在df2表中刪除重複項，如果設成inplace=False則不修改原表df2，而是返回去重後的新表
        df2.drop_duplicates(subset='工參中沒有的cgi', inplace=True)

官方文件：

http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.drop_duplicates.html#pandas.DataFrame.drop_duplicates

DataFrame.drop_duplicates(subset=None, keep='first', inplace=False)[source]

Return DataFrame with duplicate rows removed, optionally only considering certain columns

Parameters:

Parameters:	subset : column label or sequence of labels, optional Only consider certain columns for identifying duplicates, by default use all of the columns keep : {‘first’, ‘last’, False}, default ‘first’ `first` : Drop duplicates except for the first occurrence. `last` : Drop duplicates except for the last occurrence. False : Drop all duplicates. inplace : boolean, default False Whether to drop duplicates in place or to return a copy
Returns:	deduplicated : DataFrame

subset : column label or sequence of labels, optional

Only consider certain columns for identifying duplicates, by default use all of the columns

keep : {‘first’, ‘last’, False}, default ‘first’

first : Drop duplicates except for the first occurrence.

last : Drop duplicates except for the last occurrence.

False : Drop all duplicates.

inplace : boolean, default False

Whether to drop duplicates in place or to return a copy

Returns:

deduplicated : DataFrame

pandas dataframe去除重複資料pandas.DataFrame.drop_duplicates

例子： df2 = pd.DataFrame({'工參中沒有的cgi': self.mismatchedcgis}) # subset='工參中沒有的cgi' 表示只考慮列名為：工參中沒有的cgi 這一列的重複項，不設則需考慮全部列，也可以設成多列

小白學 Python 資料分析（4）：Pandas （三）資料結構 DataFrame

在家為國家做貢獻太無聊，不如跟我一起學點 Python 人生苦短，我用 Python 前文傳送門：小白學 Python 資料分析（1）：資料分析基礎小白學 Python 資料分析（2）：Pandas （一）概述小白學 Python 資料分析（3）：Pandas （二）資料結構 Series

List集合去除重複資料 Java中List集合去除重複資料的方法

【轉自】Java中List集合去除重複資料的方法 1. 迴圈list中的所有元素然後刪除重複 public static List removeDuplicate(List list) { for ( int

JSON去除重複資料

var arr = [{ uuid: '1', name: '張三' }, { uuid: '2', name: '李四' }, { uuid: '3', name: '王五' }, { uuid: '2', name: '李四' }, { uuid: '1', name: '張三' }, {

Java實現陣列去除重複資料的方法詳解

一.用List集合實現 int[] str = {5, 6, 6, 6, 8, 8, 7,4}; List<Integer> list = new ArrayList<Integer>(); for (int i=0; i<str.length; i++) { if(

jQuery 去除重複資料

工作中肯定會碰見從介面中獲取到的多條資料一樣，如果在後臺可以處理，儘量在後臺處理掉，避免前臺處理重複資料（使用者是可以修改你的js檔案的），下面說的是從介面中直接獲取到的資料（當然了，這也不是我們自己提供的介面），一下是我個人的程式碼操作，一個菜鳥的理解： 1.首

oracle去除重複資料常用的方法

建立測試資料 create table nayi224_180824(col_1 varchar2(10), col_2 varchar2(10), col_3 varchar2(10)); insert into nayi224_180824 select 1, 2, 3 fro

NSArray 如何去除重複資料？

方法一：利用 NSSet 不會新增重複元素的特性，方法如下： NSSet *set = [NSSet setWithArray:myArray]; 然後利用 [set allObjects] 獲取所有的元素。這種方法最方便，但是有個缺點，就是獲得的結果

Js 陣列去除重複資料演算法

在JS中經常會遇到去除陣列中重複資料的需求,在此介紹四種演算法以實現JS陣列去重的功能. 1.速度最快演算法:物件鍵值對法實現思路：新建一js物件以及新陣列，遍歷傳入陣列時，判斷值是否為js物件的鍵，不是的話給物件新增該鍵並放入新陣

Java實現陣列去除重複資料的方法詳解(轉)

本文例項講述了Java實現陣列去除重複資料的方法。分享給大家供大家參考，具體如下：前一段時間被面試問到：如果一個數組中有重複元素，用什麼方法可以去重？一時間會想到用一種方法，但是後來查閱資料後發現，有好多方法可以實現，現在就總結一下，比較簡單的幾種。一.用List

JAVA爬蟲爬取網頁資料資料庫中,並且去除重複資料

pom檔案  <dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId&

mybatis中resultMap丟失查詢結果，association“錯誤”去除重複資料的問題

mysql儲存過程去除重複資料

CREATE DEFINER=`root`@`%` PROCEDURE `del_incoming_pointer`() BEGIN /* 定義變數一 */ DECLARE paramId int; DECLARE paramCode VARCHAR

robo 3t mongodb 去除重複資料的簡單語句

最近在用mongodb錄分鐘線，出現了很多重複資料和垃圾資料。如下。使用以下語句查詢重複資料，我這個簡單隻需要時間重複就可以了。 db.getCollection('btc_usd_quarter_10').aggregate([{$group:{_id:{datetime:'$dat

mysql根據某一欄位去除重複資料

SQL如下： DELETE FROM aa WHERE shopid NOT IN ( SELECT temp.min_id FROM

mongodb 建立唯一索引，去除重複資料

如果建立唯一索引的時候，有資料重複，則會報錯，所以可以通過以下方法間接解決： 1.將資料匯出json格式 ./mongoexport -d liuniu -c tWechatMessage -o tWechatMessage.json -d 資料庫名 -c 集合名 -

mysql中去除重複資料之distinct用法

最近利用郭神的litepal建立了郵件客戶端的前端資料庫，然後實現最近聯絡人的顯示，需要在資料庫裡去查詢傳送人的暱稱和傳送人的地址兩個欄位，但發現litepal不支援distinct查詢，但可以通過原生的sql語句實現： select distinct fromaddress,fromname

【轉】Postgresql去除重複資料的方法

PostgreSQL刪除重複資料去重的方法一般是找到重複資料中的一條，以某一唯一條件去掉其他重複值。 Oracle 去重的方法很多，常用的是根據 rowid 進行去重。 PostgreSQL 庫如何去除單表重複資料呢？可以通過 ctid 進行，下面是實驗

Oracle 中去除重複資料

在網上查了一下，去除重複資料有兩種情況： 1、部分欄位重複，對於這種情況可這樣做：（1）create table 臨時表 as select a.欄位1,a.欄位2,MAX(a.ROWID) dataid from 正式表 a GROUP BY a.欄位1,a.欄位2;

JAVA陣列去除重複資料

前一段時間被面試問到：如果一個數組中有重複元素，用什麼方法可以去重？一時間會想到用一種方法，但是後來查閱資料後發現，有好多方法可以實現，現在就總結一下，比較簡單的幾種。一.用List集合實現 int[] str = {5, 6, 6, 6, 8

pandas dataframe去除重複資料pandas.DataFrame.drop_duplicates

相關推薦