2. 程式人生 > >mysql GROUP BY 代替DISTINCT 遇到的問題及解決

mysql GROUP BY 代替DISTINCT 遇到的問題及解決

阿新 • • 發佈：2019-01-08
近日在做一個數據分析時，發現DISTINCT比較慢，想通過group by來替代。然而替代並非一帆風順，在替代過程中，發現對於重複資料，group by會取第一次出現的記錄。為得到我想要的統計資料，折騰了一番。下面用例項來描述我的問題及調整過程。


場景：有一張表，記錄手機使用者的常規資訊，每天每個使用者一條記錄
CREATE TABLE `userinfo_test` (
  `day` date NOT NULL DEFAULT '2016-06-01',
  `username` varchar(64) NOT NULL,
   `phone` varchar(16) NOT NULL DEFAULT '',
  `cv` varchar(16) NOT NULL DEFAULT '',
   PRIMARY KEY (`day`,`username`),
  KEY `ix_day_username_phone_cv` (`day`,`username`,`phone`,`cv`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8
現在需要統計每個月，每個機型每個版本的活躍人數（對於同一使用者，如果升級了版本，只統計升級後的版本）


INSERT INTO `userinfo_test` VALUES('2016-05-01','10000001','A', '1001');
INSERT INTO `userinfo_test` VALUES('2016-05-01','10000002','A', '1002');
INSERT INTO `userinfo_test` VALUES('2016-05-01','10000003','A', '1003');
INSERT INTO `userinfo_test` VALUES('2016-05-01','10000004','B', '1001');
INSERT INTO `userinfo_test` VALUES('2016-05-01','10000005','B', '1002');
INSERT INTO `userinfo_test` VALUES('2016-05-01','10000006','B', '1003');
INSERT INTO `userinfo_test` VALUES('2016-05-01','10000007','C', '1001');
INSERT INTO `userinfo_test` VALUES('2016-05-01','10000008','C', '1002');
INSERT INTO `userinfo_test` VALUES('2016-05-01','10000009','C', '1003');


INSERT INTO `userinfo_test` VALUES('2016-05-02','10000001','A', '1001');
INSERT INTO `userinfo_test` VALUES('2016-05-02','10000002','A', '1003');
INSERT INTO `userinfo_test` VALUES('2016-05-02','10000003','A', '1003');
INSERT INTO `userinfo_test` VALUES('2016-05-02','10000004','B', '1002');
INSERT INTO `userinfo_test` VALUES('2016-05-02','10000005','B', '1002');
INSERT INTO `userinfo_test` VALUES('2016-05-02','10000006','B', '1003');
INSERT INTO `userinfo_test` VALUES('2016-05-02','10000007','C', '1003');
INSERT INTO `userinfo_test` VALUES('2016-05-02','10000008','C', '1002');
INSERT INTO `userinfo_test` VALUES('2016-05-02','10000009','C', '1003');


記錄每天的使用者常規資訊，若當天資訊有變化，只記錄最後的資訊，每個使用者每天只有一條記錄資訊
mysql> SELECT * FROM `userinfo_test`;
+------------+----------+-------+------+
| day        | username | phone | cv   |
+------------+----------+-------+------+
| 2016-05-01 | 10000001 | A     | 1001 | 
| 2016-05-01 | 10000002 | A     | 1002 | 
| 2016-05-01 | 10000003 | A     | 1003 | 
| 2016-05-01 | 10000004 | B     | 1001 | 
| 2016-05-01 | 10000005 | B     | 1002 | 
| 2016-05-01 | 10000006 | B     | 1003 | 
| 2016-05-01 | 10000007 | C     | 1001 | 
| 2016-05-01 | 10000008 | C     | 1002 | 
| 2016-05-01 | 10000009 | C     | 1003 | 
| 2016-05-02 | 10000001 | A     | 1001 | 
| 2016-05-02 | 10000002 | A     | 1003 | 
| 2016-05-02 | 10000003 | A     | 1003 | 
| 2016-05-02 | 10000004 | B     | 1002 | 
| 2016-05-02 | 10000005 | B     | 1002 | 
| 2016-05-02 | 10000006 | B     | 1003 | 
| 2016-05-02 | 10000007 | C     | 1003 | 
| 2016-05-02 | 10000008 | C     | 1002 | 
| 2016-05-02 | 10000009 | C     | 1003 | 
| 2016-05-02 | 10000019 | C     | 1003 | 
+------------+----------+-------+------+
19 rows in set (0.00 sec)




彙總每天各機型各版本的人數
SELECT IFNULL(phone,'WITH_ROLLUP_TOTAL') p, IFNULL(cv,'WITH_ROLLUP_TOTAL') v, COUNT(cv)daynum FROM `userinfo_test` WHERE DAY = '2016-05-01' GROUP BY phone,cv WITH ROLLUP;
mysql> SELECT IFNULL(phone,'WITH_ROLLUP_TOTAL') p, IFNULL(cv,'WITH_ROLLUP_TOTAL') v, COUNT(cv)daynum FROM `userinfo_test` WHERE DAY = '2016-05-01' GROUP BY phone,cv WITH ROLLUP;
+-------------------+-------------------+--------+
| p                 | v                 | daynum |
+-------------------+-------------------+--------+
| A                 | 1001              |      1 | 
| A                 | 1002              |      1 | 
| A                 | 1003              |      1 | 
| A                 | WITH_ROLLUP_TOTAL |      3 | 
| B                 | 1001              |      1 | 
| B                 | 1002              |      1 | 
| B                 | 1003              |      1 | 
| B                 | WITH_ROLLUP_TOTAL |      3 | 
| C                 | 1001              |      1 | 
| C                 | 1002              |      1 | 
| C                 | 1003              |      1 | 
| C                 | WITH_ROLLUP_TOTAL |      3 | 
| WITH_ROLLUP_TOTAL | WITH_ROLLUP_TOTAL |      9 | 
+-------------------+-------------------+--------+
13 rows in set (0.00 sec)


mysql> SELECT IFNULL(phone,'WITH_ROLLUP_TOTAL') p, IFNULL(cv,'WITH_ROLLUP_TOTAL') v, COUNT(cv)daynum FROM `userinfo_test` WHERE DAY = '2016-05-02' GROUP BY phone,cv WITH ROLLUP;
+-------------------+-------------------+--------+
| p                 | v                 | daynum |
+-------------------+-------------------+--------+
| A                 | 1001              |      1 | 
| A                 | 1003              |      2 | 
| A                 | WITH_ROLLUP_TOTAL |      3 | 
| B                 | 1002              |      2 | 
| B                 | 1003              |      1 | 
| B                 | WITH_ROLLUP_TOTAL |      3 | 
| C                 | 1002              |      1 | 
| C                 | 1003              |      3 | 
| C                 | WITH_ROLLUP_TOTAL |      4 | 
| WITH_ROLLUP_TOTAL | WITH_ROLLUP_TOTAL |     10 | 
+-------------------+-------------------+--------+
10 rows in set (0.00 sec)


彙總每月各機型各版本的人數，若該月同一人有多個機型版本資訊，則以最後記錄的機型版本資訊為準，只彙總這一條記錄
SELECT IFNULL(phone,'WITH_ROLLUP_TOTAL') p, IFNULL(cv,'WITH_ROLLUP_TOTAL') v,COUNT(cv) monthnum FROM (SELECT phone,cv FROM (SELECT * FROM (SELECT cv,phone,username FROM `userinfo_test` GROUP BY cv,phone,username) c ORDER BY cv DESC) d GROUP BY username) e GROUP BY phone,cv WITH ROLLUP;
+-------------------+-------------------+----------+
| p                 | v                 | monthnum |
+-------------------+-------------------+----------+
| A                 | 1001              |        1 | 
| A                 | 1003              |        2 | 
| A                 | WITH_ROLLUP_TOTAL |        3 | 
| B                 | 1002              |        2 | 
| B                 | 1003              |        1 | 
| B                 | WITH_ROLLUP_TOTAL |        3 | 
| C                 | 1002              |        1 | 
| C                 | 1003              |        3 | 
| C                 | WITH_ROLLUP_TOTAL |        4 | 
| WITH_ROLLUP_TOTAL | WITH_ROLLUP_TOTAL |       10 | 
+-------------------+-------------------+----------+
10 rows in set (0.00 sec)
注意，上述sql 對cv 做了降序排列（考慮到通常都是升級了版本，即認為版本越大，代表了同一使用者的最後的記錄），group by 預設統計第一次出現的記錄


如果不對cv做降序
SELECT IFNULL(phone,'WITH_ROLLUP_TOTAL') p, IFNULL(cv,'WITH_ROLLUP_TOTAL') v,COUNT(cv) monthnum FROM (SELECT phone,cv,username FROM `userinfo_test` GROUP BY username) c GROUP BY phone,cv WITH ROLLUP;
+-------------------+-------------------+----------+
| p                 | v                 | monthnum |
+-------------------+-------------------+----------+
| A                 | 1001              |        1 | 
| A                 | 1002              |        1 | 
| A                 | 1003              |        1 | 
| A                 | WITH_ROLLUP_TOTAL |        3 | 
| B                 | 1001              |        1 | 
| B                 | 1002              |        1 | 
| B                 | 1003              |        1 | 
| B                 | WITH_ROLLUP_TOTAL |        3 | 
| C                 | 1001              |        1 | 
| C                 | 1002              |        1 | 
| C                 | 1003              |        2 | 
| C                 | WITH_ROLLUP_TOTAL |        4 | 
| WITH_ROLLUP_TOTAL | WITH_ROLLUP_TOTAL |       10 | 
+-------------------+-------------------+----------+
13 rows in set (0.00 sec)
可以看到，對於同一使用者，統計到的是第一次出現的記錄。


如果用DISTINCT,下面的sql並不能得到我們想要的資料。
此外對於重複資料比較多時，group by要比DISTINCT快很多
SELECT IFNULL(phone,'WITH_ROLLUP_TOTAL') p, IFNULL(cv,'WITH_ROLLUP_TOTAL') v, COUNT(DISTINCT username)daynum  FROM `userinfo_test` GROUP BY phone,cv WITH ROLLUP;
+-------------------+-------------------+--------+
| p                 | v                 | daynum |
+-------------------+-------------------+--------+
| A                 | 1001              |      1 | 
| A                 | 1002              |      1 | 
| A                 | 1003              |      2 | 
| A                 | WITH_ROLLUP_TOTAL |      3 | 
| B                 | 1001              |      1 | 
| B                 | 1002              |      2 | 
| B                 | 1003              |      1 | 
| B                 | WITH_ROLLUP_TOTAL |      3 | 
| C                 | 1001              |      1 | 
| C                 | 1002              |      1 | 
| C                 | 1003              |      3 | 
| C                 | WITH_ROLLUP_TOTAL |      4 | 
| WITH_ROLLUP_TOTAL | WITH_ROLLUP_TOTAL |     10 | 
+-------------------+-------------------+--------+
13 rows in set (0.01 sec)


改用如下sql可以獲得想要的結果
SELECT IFNULL(phone,'WITH_ROLLUP_TOTAL') p, IFNULL(cv,'WITH_ROLLUP_TOTAL') v, COUNT(cv)daynum FROM(SELECT * FROM (SELECT DISTINCT username,phone,cv FROM `userinfo_test` ORDER BY cv DESC) c GROUP BY username)d GROUP BY phone,cv WITH ROLLUP;
+-------------------+-------------------+--------+
| p                 | v                 | daynum |
+-------------------+-------------------+--------+
| A                 | 1001              |      1 | 
| A                 | 1003              |      2 | 
| A                 | WITH_ROLLUP_TOTAL |      3 | 
| B                 | 1002              |      2 | 
| B                 | 1003              |      1 | 
| B                 | WITH_ROLLUP_TOTAL |      3 | 
| C                 | 1002              |      1 | 
| C                 | 1003              |      3 | 
| C                 | WITH_ROLLUP_TOTAL |      4 | 
| WITH_ROLLUP_TOTAL | WITH_ROLLUP_TOTAL |     10 | 
+-------------------+-------------------+--------+
10 rows in set (0.00 sec)


group by 支援排序，group by的排序是按最後一個欄位排序的
SELECT phone,cv,COUNT(cv)num FROM `userinfo_test` GROUP BY phone,cv WITH ROLLUP;
+-------+------+-----+
| phone | cv   | num |
+-------+------+-----+
| A     | 1001 |   2 | 
| A     | 1002 |   1 | 
| A     | 1003 |   3 | 
| A     | NULL |   6 | 
| B     | 1001 |   1 | 
| B     | 1002 |   3 | 
| B     | 1003 |   2 | 
| B     | NULL |   6 | 
| C     | 1001 |   1 | 
| C     | 1002 |   2 | 
| C     | 1003 |   4 | 
| C     | NULL |   7 | 
| NULL  | NULL |  19 | 
+-------+------+-----+
13 rows in set (0.00 sec)


SELECT phone,cv,COUNT(cv)num FROM `userinfo_test` GROUP BY phone,cv DESC WITH ROLLUP;
+-------+------+-----+
| phone | cv   | num |
+-------+------+-----+
| A     | 1003 |   3 | 
| A     | 1002 |   1 | 
| A     | 1001 |   2 | 
| A     | NULL |   6 | 
| B     | 1003 |   2 | 
| B     | 1002 |   3 | 
| B     | 1001 |   1 | 
| B     | NULL |   6 | 
| C     | 1003 |   4 | 
| C     | 1002 |   2 | 
| C     | 1001 |   1 | 
| C     | NULL |   7 | 
| NULL  | NULL |  19 | 
+-------+------+-----+
13 rows in set (0.01 sec)


explain SELECT cv,phone,COUNT(phone)num FROM `userinfo_test` GROUP BY cv,phone DESC WITH ROLLUP;
+------+-------+-----+
| cv   | phone | num |
+------+-------+-----+
| 1001 | C     |   1 | 
| 1001 | B     |   1 | 
| 1001 | A     |   2 | 
| 1001 | NULL  |   4 | 
| 1002 | C     |   2 | 
| 1002 | B     |   3 | 
| 1002 | A     |   1 | 
| 1002 | NULL  |   6 | 
| 1003 | C     |   4 | 
| 1003 | B     |   2 | 
| 1003 | A     |   3 | 
| 1003 | NULL  |   9 | 
| NULL | NULL  |  19 | 
+------+-------+-----+
13 rows in set (0.00 sec)


如果用到group by 的排序，前面月活躍使用者數的統計語句
SELECT IFNULL(phone,'WITH_ROLLUP_TOTAL') p, IFNULL(cv,'WITH_ROLLUP_TOTAL') v,COUNT(cv) monthnum FROM (SELECT phone,cv FROM (SELECT * FROM (SELECT cv,phone,username FROM `userinfo_test` GROUP BY cv,phone,username) c ORDER BY cv DESC) d GROUP BY username) e GROUP BY phone,cv WITH ROLLUP;

可以修改為
SELECT IFNULL(phone,'WITH_ROLLUP_TOTAL') p, IFNULL(cv,'WITH_ROLLUP_TOTAL') v,COUNT(cv) monthnum FROM (SELECT phone,cv FROM (SELECT cv,phone,username FROM `userinfo_test` GROUP BY username,phone,cv DESC) c GROUP BY username) d GROUP BY phone,cv WITH ROLLUP;
+-------------------+-------------------+----------+
| p                 | v                 | monthnum |
+-------------------+-------------------+----------+
| A                 | 1001              |        1 | 
| A                 | 1003              |        2 | 
| A                 | WITH_ROLLUP_TOTAL |        3 | 
| B                 | 1002              |        2 | 
| B                 | 1003              |        1 | 
| B                 | WITH_ROLLUP_TOTAL |        3 | 
| C                 | 1002              |        1 | 
| C                 | 1003              |        3 | 
| C                 | WITH_ROLLUP_TOTAL |        4 | 
| WITH_ROLLUP_TOTAL | WITH_ROLLUP_TOTAL |       10 | 
+-------------------+-------------------+----------+
10 rows in set (0.01 sec)


後記：
1.由於天與天之間重複資料較多，因此group by 比DISTINCT 相對來說有優勢
2.感覺sql還是寫的比較複雜，歡迎指點，優化sql或者有更好的方法

相關推薦

mysql GROUP BY 代替DISTINCT 遇到的問題及解決

近日在做一個數據分析時，發現DISTINCT比較慢，想通過group by來替代。然而替代並非一帆風順，在替代過程中，發現對於重複資料，group by會取第一次出現的記錄。為得到我想要的統計資料，折騰了一番。下面用例項來描述我的問題及調整過程。 場景：有一張表，記錄手機使

mysql ORDER BY,GROUP BY 和DISTINCT原理

如果 str reat 個數 需要 是我 如何 where子句 三種 前言 除了常規的Join語句之外，還有一類Query語句也是使用比較頻繁的，那就是ORDERBY，GROUP BY以及DISTINCT這三類查詢。考慮到這三類查詢都涉及到數據的排序等操作，所以我將他們放在

mysql group by 分組及having 過濾分組

基於 order 創建 tro having nbsp HERE sel strong 1，group by 創建分組 在mysql中 group by 句子要註意，必須where 之後，order by 之前 select order_code ,count(*) as

with as 和group by 代替 count distinct，提高效能

資料庫：postgresql 背景：使用distinct在對某張表某個欄位做去重統計的時候，發現有統計特別慢（30-40s），當前表大小是400w，distinct 後大概60w sql 很簡單（出於安全考慮，欄位和表名稱都做了替換）: 原sql： select count

解決mysql group by和count同時使用的問題

例如這樣一個表，我想統計email和passwords都不相同的記錄的條數 CREATE TABLE IF NOT EXISTS `test_users` ( `email_id` int(11) unsigned NOT NULL auto_increment, `email` char(100) N

mysql的order by，group by和distinct優化

order by，group by和distinct三類操作是在mysql中經常使用的，而且都涉及到排序，所以就把這三種操作放在一起介紹。 order by的實現與優化 order by的實現有兩種方式，主要就是按用沒用到索引來區分： 1. 根據索引欄位排序，利用索引取出的

mysql group by

style images pan sel mysq http src .com try w SELECT COUNT(*) FROM ( SELECT COUNT(*) FROM

mysql group by 詳解

target ron 分組 tar 一個 詳解 targe strong 字段 GROUP BY X意思是將所有具有相同X字段值的記錄放到一個分組裏。 那麽GROUP BY X, Y呢？ GROUP BY X, Y意思是將所有具有相同X字段值和Y字段值的記錄放到一個分組

Mysql group by,order by,dinstict優化

border 合並結果集 strong borde ron 無法找到 原理 sub contain 1.order by優化 實現方式： 1. 根據索引字段排序，利用索引取出的數據已經是排好序的，直接返回給客戶端； 2. 沒有用到索引，將取出的數據進行一次排序操作後返回給客

MySQL GROUP BY 語句

mysql group by 語句MySQL GROUP BY 語句GROUP BY 語句根據一個或多個列對結果集進行分組。在分組的列上我們可以使用 COUNT, SUM, AVG,等函數。GROUP BY 語法SELECT column_name, function(column_name) FROM ta

[MySQL]group by 與 having 結合函數 的統計技巧

borde for border style sql effective ble post fec group by 與 having 允許字段使用函數，根據函數運行的結果group by分組或having設置選擇條件; 同時group by 與 having 也允許使用字

connection reset by peer問題總結及解決方案

net 方維 catch 火墻 tst buffer 整理 pos 在服務器 找遍了 中英文網站，翻遍了能找的角落，發現了出現故障的原因和原理，及改如何處理，這裏記錄下，希望能幫助到有需要的小夥伴，少走點彎路， 以上就整理內容： connection res

MySQL Err 1418 的原因分析及解決方法

mysql 1418 MySQL的有個參數log_bin_trust_function_creators，官方文檔對這個參數的介紹、解釋如下所示： This variable applies when binary logging is enabled. It controls whether st

mysql group by using filesort優化

str markdown pan down rom logs pre _id clas 原join 連接語句SELECT SUM(video_flowers.number) AS num,video_flowers.flower_id,flowers.title,flowe

mysql group by 對多個字段進行分組

進行 head https 所有 sele 依據 字段 聚合函數 計數 轉載自：https://blog.csdn.net/xx_star1204/article/details/72884983 在平時的開發任務中我們經常會用到MYSQL的GROUP BY分組， 用來

A2-02-18.DML-MySQL GROUP BY

notice title pre can ces info ecif learn spec 轉載自：http://www.mysqltutorial.org/mysql-group-by.aspx Home / Basic MySQL Tutorial / MySQL GR

mysql group by and max

question 資料庫表中有一欄位表示型別，不知道這個型別會有多少種，查出每個型別插入的最新一條資料 resolution mysql> select * from article; +------+------------+

Group by 和distinct對比

** Group by 和distinct對比** CREATE TABLE sbtest1 (id int(11) NOT NULL AUTO_INCREMENT,k int(11) NOT NULL DEFAULT '0',c char(120) NOT NULL DEFAULT '',pad cha

關於MYSQL group by 分組按時間取最大值的實現方法！

類如 有一個帖子的回覆表，posts（ id , tid , subject , message , dateline ） , id 為 自動增長欄位， tid為該回復的主題帖子的id（外來鍵關聯）, subject 為回覆標題， message 為回覆內容， dateline 為回覆時間，用UNIX 時間

MySQL GROUP BY程式碼筆記

mysql> insert into testB values -> (9,'JAVA','某年','1018-02-28'), -> (6,'PHP','某月','1068-02-28'), -> (8,'C#','某日','1168-02-28')