MySql 100萬級別資料中隨機獲取一條或多條記錄之RAND()優化

阿新 • • 發佈：2019-01-01

處理業務中，有這樣的需求，例如：有100W甚至更多的使用者，此時我們要隨機一條男性或者女性使用者出來做資料操作。基於這個需求，我們做一下實驗。

基礎準備

準備一張使用者表，結構如下

CREATE TABLE `user` (
  `uid` int(10) unsigned NOT NULL AUTO_INCREMENT COMMENT '使用者ID',
  `name` varchar(255) DEFAULT NULL COMMENT '使用者姓名',
  `age` tinyint(3) unsigned DEFAULT 0 COMMENT '年齡',
  `gender` 
 tinyint(3) unsigned DEFAULT 2 COMMENT '性別 2 人妖 1 男 0 女',
  `create_time` int(10) unsigned  DEFAULT 0 COMMENT '建立時間',
  PRIMARY KEY (`uid`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;

簡單寫個MySQL儲存

DELIMITER ;;
USE `test`;;

DROP PROCEDURE IF EXISTS `autoFull`;;

CREATE DEFINER=`root`@`localhost` PROCEDURE`autoFull`(num INT 
)
BEGIN
    #Routine body goes here...
    DECLARE count INT DEFAULT 0;
    DECLARE i INT DEFAULT 0;
    set @exesql = concat("insert into user(name,age,gender,create_time) values ");
    set @exedata = "";
    while count<num do 
            set @exedata = concat(@exedata, ",('",MD5(i), "','", floor(rand()*37 
+18), "','", ROUND(RAND() * 1), "','",current_timestamp(), "')");
            set count=count+1;
            set i=i+1;
            if i%1000=0
            then 
                    set @exedata = SUBSTRING(@exedata, 2);
                    set @exesql = concat("insert into user(name,age,gender,create_time) values ", @exedata);
                    prepare stmt from @exesql;
                    execute stmt;
                    DEALLOCATE prepare stmt;
                    set @exedata = "";
            end if;
    end while;

    if length(@exedata)>0 
    then 
            set @exedata = SUBSTRING(@exedata, 2);
            set @exesql = concat("insert into user(name,age,gender,create_time) values ", @exedata);
            prepare stmt from @exesql;
            execute stmt;
            DEALLOCATE prepare stmt;
    end if;
END;;
DELIMITER ;

具體步驟：

mysql> use test
Database changed
mysql> 

mysql> CREATE TABLE `user` (
    ->   `uid` int(10) unsigned NOT NULL AUTO_INCREMENT COMMENT '使用者ID',
    ->   `name` varchar(255) DEFAULT NULL COMMENT '使用者姓名',
    ->   `age` tinyint(3) unsigned DEFAULT 0 COMMENT '年齡',
    ->   `gender` tinyint(3) unsigned DEFAULT 2 COMMENT '性別 2 人妖 1 男 0 女',
    ->   `create_time` int(10) unsigned  DEFAULT 0 COMMENT '建立時間',
    ->   PRIMARY KEY (`uid`)
    -> ) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;

mysql> DELIMITER ;;
mysql> 
mysql> DROP PROCEDURE IF EXISTS `autoFull`;;
Query OK, 0 rows affected (0.00 sec)

mysql>  
mysql> CREATE DEFINER=`root`@`localhost` PROCEDURE`autoFull`(num INT)
    -> BEGIN
    -> #Routine body goes here...
    -> DECLARE count INT DEFAULT 0;
    -> DECLARE i INT DEFAULT 0;
    -> set @exesql = concat("insert into user(name,age,gender,create_time) values ");
    -> set @exedata = "";
    -> while count<num do 
    -> set @exedata = concat(@exedata, ",('",MD5(i), "','", floor(rand()*37+18), "','", ROUND(RAND() * 1), "','",current_timestamp(), "')");
    -> set count=count+1;
    -> set i=i+1;
    -> if i%1000=0
    -> then 
    -> set @exedata = SUBSTRING(@exedata, 2);
    -> set @exesql = concat("insert into user(name,age,gender,create_time) values ", @exedata);
    -> prepare stmt from @exesql;
    -> execute stmt;
    -> DEALLOCATE prepare stmt;
    -> set @exedata = "";
    -> end if;
    -> end while;
    -> 
    -> if length(@exedata)>0 
    -> then 
    -> set @exedata = SUBSTRING(@exedata, 2);
    -> set @exesql = concat("insert into user(name,age,gender,create_time) values ", @exedata);
    -> prepare stmt from @exesql;
    -> execute stmt;
    -> DEALLOCATE prepare stmt;
    -> end if;
    -> END;;
Query OK, 0 rows affected (0.00 sec)

mysql> DELIMITER ;//還原界定符

mysql> call autoFull(1000000);
Query OK, 0 rows affected, 64 warnings (1 min 3.81 sec)
//呼叫下儲存

檢視下自己的儲存

mysql> select count(uid) from user;
+------------+
| count(uid) |
+------------+
|    1000001 |
+------------+
1 row in set (0.20 sec)

mysql>

原始簡單粗暴的 SQL 語句 select * from user order by RAND() LIMIT 1; (切勿使用)

mysql> select * from user order by RAND() LIMIT 1;
+--------+----------------------------------+------+--------+-------------+
| uid    | name                             | age  | gender | create_time |
+--------+----------------------------------+------+--------+-------------+
| 318393 | 48f8b305de34c87af8143fe1f24732ad |   24 |      0 |        2017 |
+--------+----------------------------------+------+--------+-------------+
1 row in set (17.19 sec)

mysql>

簡單分析下：

mysql> explain select * from user order by RAND() LIMIT 1;
+----+-------------+-------+------+---------------+------+---------+------+---------+---------------------------------+
| id | select_type | table | type | possible_keys | key  | key_len | ref  | rows    | Extra                           |
+----+-------------+-------+------+---------------+------+---------+------+---------+---------------------------------+
|  1 | SIMPLE      | user  | ALL  | NULL          | NULL | NULL    | NULL | 1000340 | Using temporary; Using filesort |
+----+-------------+-------+------+---------------+------+---------+------+---------+---------------------------------+
1 row in set (0.00 sec)

type => all 呵呵，全表掃描 1000340 條資料
key => null 且沒有索引，我們是隨機查詢
MySql 手冊專門有提醒在 Order by 後面不能使用 RAND() 函式，會導致全表掃描

簡單優化 SQL 語句, 使用join

 SELECT * FROM user  AS u1  JOIN (SELECT ROUND(RAND() * ((SELECT MAX(uid) FROM `user`)-(SELECT MIN(uid) FROM user))+(SELECT MIN(uid) FROM user)) AS uid) AS u2 WHERE u1.uid >= u2.uid ORDER BY u1.uid LIMIT 1

mysql> SELECT * FROM user  AS u1  JOIN (SELECT ROUND(RAND() * ((SELECT MAX(uid) FROM `user`)-(SELECT MIN(uid) FROM user))+(SELECT MIN(uid) FROM user)) AS uid) AS u2 WHERE u1.uid >= u2.uid ORDER BY u1.uid LIMIT 1
    -> ;
+--------+----------------------------------+------+--------+-------------+--------+
| uid    | name                             | age  | gender | create_time | uid    |
+--------+----------------------------------+------+--------+-------------+--------+
| 798024 | c1a781e16b45f2ddc18b42365b8b0903 |   48 |      0 |        2017 | 798024 |
+--------+----------------------------------+------+--------+-------------+--------+
1 row in set (0.14 sec)

以上測試發現快了不少，來分析下這個SQL語句，該SQL 語句的核心 Join和隨機，隨機的基本公式: RAND()*(max-min)+mix,隨機出一個 uid as u2 然後條件查詢，uid 自建索引，效率蠻高的。

mysql> explain SELECT * FROM user  AS u1  JOIN (SELECT ROUND(RAND() * ((SELECT MAX(uid) FROM `user`)-(SELECT MIN(uid) FROM user))+(SELECT MIN(uid) FROM user)) AS uid) AS u2 WHERE u1.uid >= u2.uid ORDER BY u1.uid LIMIT 1;
+----+-------------+------------+--------+---------------+---------+---------+------+--------+------------------------------+
| id | select_type | table      | type   | possible_keys | key     | key_len | ref  | rows   | Extra                        |
+----+-------------+------------+--------+---------------+---------+---------+------+--------+------------------------------+
|  1 | PRIMARY     | <derived2> | system | NULL          | NULL    | NULL    | NULL |      1 |                              |
|  1 | PRIMARY     | u1         | range  | PRIMARY       | PRIMARY | 4       | NULL | 500170 | Using where                  |
|  2 | DERIVED     | NULL       | NULL   | NULL          | NULL    | NULL    | NULL |   NULL | No tables used               |
|  5 | SUBQUERY    | NULL       | NULL   | NULL          | NULL    | NULL    | NULL |   NULL | Select tables optimized away |
|  4 | SUBQUERY    | NULL       | NULL   | NULL          | NULL    | NULL    | NULL |   NULL | Select tables optimized away |
|  3 | SUBQUERY    | NULL       | NULL   | NULL          | NULL    | NULL    | NULL |   NULL | Select tables optimized away |
+----+-------------+------------+--------+---------------+---------+---------+------+--------+------------------------------+
6 rows in set (0.01 sec)

如果想隨機多條呢？修改LIMIT？來看看

mysql> SELECT * FROM user  AS u1  JOIN (SELECT ROUND(RAND() * ((SELECT MAX(uid) FROM `user`)-(SELECT MIN(uid) FROM user))+(SELECT MIN(uid) FROM user)) AS uid) AS u2 WHERE u1.uid >= u2.uid ORDER BY u1.uid LIMIT 5;

mysql> SELECT * FROM user  AS u1  JOIN (SELECT ROUND(RAND() * ((SELECT MAX(uid) FROM `user`)-(SELECT MIN(uid) FROM user))+(SELECT MIN(uid) FROM user)) AS uid) AS u2 WHERE u1.uid >= u2.uid ORDER BY u1.uid LIMIT 5;
+--------+----------------------------------+------+--------+-------------+--------+
| uid    | name                             | age  | gender | create_time | uid    |
+--------+----------------------------------+------+--------+-------------+--------+
| 948535 | da2c5dbe42945a0cc5b46a1e6acf746b |   46 |      0 |        2017 | 948535 |
| 948536 | 8b6f00e7098d215d4a85b160fcbbce4f |   22 |      1 |        2017 | 948535 |
| 948537 | d3caa715182997a67fdf3ab245ea53f3 |   24 |      1 |        2017 | 948535 |
| 948538 | 727659b109bfe2a21f8be7a5c1d1b301 |   27 |      0 |        2017 | 948535 |
| 948539 | 4b5038af305fb4629d38d067f806c7ab |   27 |      0 |        2017 | 948535 |
+--------+----------------------------------+------+--------+-------------+--------+
5 rows in set (0.00 sec)

如果使用以上的SQL語句，發現查詢到的資料是連續的，我們要的是隨機的，不難理解 LIMIT 5 得到當前查詢條件的前五條，所以是相對連續的，uid 是自增的，因為用的是儲存插入的，實際專案也是相對連續的。這條SQL 一次性查詢無法達到我們的需求，則可分別一條條查詢，如果要求的隨機條數較多，那就不建議使用該條SQL語句了。

再來一條SQL語句

mysql>  SELECT * FROM user WHERE uid >= ((SELECT MAX(uid) FROM user)-(SELECT MIN(uid) FROM user)) * RAND() + (SELECT MIN(uid) FROM user) LIMIT 1
    -> ;
+------+----------------------------------+------+--------+-------------+
| uid  | name                             | age  | gender | create_time |
+------+----------------------------------+------+--------+-------------+
| 2343 | c8dfece5cc68249206e4690fc4737a8d |   34 |      0 |        2017 |
+------+----------------------------------+------+--------+-------------+
1 row in set (0.01 sec)

explain 下

mysql> explain SELECT * FROM user WHERE uid >= ((SELECT MAX(uid) FROM user)-(SELECT MIN(uid) FROM user)) * RAND() + (SELECT MIN(uid) FROM user) LIMIT 1;
+----+-------------+-------+------+---------------+------+---------+------+---------+------------------------------+
| id | select_type | table | type | possible_keys | key  | key_len | ref  | rows    | Extra                        |
+----+-------------+-------+------+---------------+------+---------+------+---------+------------------------------+
|  1 | PRIMARY     | user  | ALL  | NULL          | NULL | NULL    | NULL | 1000340 | Using where                  |
|  4 | SUBQUERY    | NULL  | NULL | NULL          | NULL | NULL    | NULL |    NULL | Select tables optimized away |
|  3 | SUBQUERY    | NULL  | NULL | NULL          | NULL | NULL    | NULL |    NULL | Select tables optimized away |
|  2 | SUBQUERY    | NULL  | NULL | NULL          | NULL | NULL    | NULL |    NULL | Select tables optimized away |
+----+-------------+-------+------+---------------+------+---------+------+---------+------------------------------+
4 rows in set (0.00 sec)

看看隨機多條

mysql> SELECT * FROM user WHERE uid >= ((SELECT MAX(uid) FROM user)-(SELECT MIN(uid) FROM user)) * RAND() + (SELECT MIN(uid) FROM user) limit 20;
+------+----------------------------------+------+--------+-------------+
| uid  | name                             | age  | gender | create_time |
+------+----------------------------------+------+--------+-------------+
|  786 | fc8001f834f6a5f0561080d134d53d29 |   24 |      0 |        2017 |
| 1961 | e4dd5528f7596dcdf871aa55cfccc53c |   54 |      1 |        2017 |
| 2958 | db5cea26ca37aa09e5365f3e7f5dd9eb |   27 |      0 |        2017 |
| 3122 | f231f2107df69eab0a3862d50018a9b2 |   43 |      1 |        2017 |
| 3445 | 12092a75caa75e4644fd2869f0b6c45a |   31 |      0 |        2017 |
| 4121 | 1b69ebedb522700034547abc5652ffac |   48 |      0 |        2017 |
| 4682 | 4f5c422f4d49a5a807eda27434231040 |   38 |      1 |        2017 |
| 4815 | 187acf7982f3c169b3075132380986e4 |   26 |      1 |        2017 |
| 5028 | f02208a057804ee16ac72ff4d3cec53b |   19 |      0 |        2017 |
| 5182 | fa3dade3a49305f27f64203452ac954c |   32 |      1 |        2017 |
| 5245 | b49d4455d64520060ac01fb5a3c757e4 |   34 |      1 |        2017 |
| 5405 | bb1443cc31d7396bf73e7858cea114e1 |   40 |      1 |        2017 |
| 5486 | 03b2ceb73723f8b53cd533e4fba898ee |   21 |      0 |        2017 |
| 5700 | 7f848746fe2599dc199a75f0d02fc3d6 |   36 |      0 |        2017 |
| 5835 | f5f3b8d720f34ebebceb7765e447268b |   36 |      0 |        2017 |
| 5991 | 1ae6464c6b5d51b363d7d96f97132c75 |   49 |      1 |        2017 |
| 6064 | 09ccf3183d9e90e5ae1f425d5f9b2c00 |   36 |      0 |        2017 |
| 6160 | 08ad21c6f9da6bdf51ae0b971f43d96d |   31 |      1 |        2017 |
| 6306 | ccf0304d099baecfbe7ff6844e1f6d91 |   48 |      1 |        2017 |
| 6810 | 6194a1ee187acd6606989f03769e8f7f |   41 |      0 |        2017 |
+------+----------------------------------+------+--------+-------------+
20 rows in set (0.01 sec)

隨機多條也是完美的，隨機核心就是用 RAND() 隨機出一個使用者uid，或則隨機區間，然後再進行limit 即可，此處基本闡述完了，歡迎大家批評指正。

MySql 100萬級別資料中隨機獲取一條或多條記錄之RAND()優化

處理業務中，有這樣的需求，例如：有100W甚至更多的使用者，此時我們要隨機一條男性或者女性使用者出來做資料操作。基於這個需求，我們做一下實驗。基礎準備準備一張使用者表，結構如下 CREATE TABLE `user` (

前端之路：sql語句，表中隨機獲取一條記錄（資料）。（或者獲取隨機獲取多條（記錄）資料）

SELECT * FROM `tableName` AS t1 JOIN (SELECT ROUND(RAND() * ((SELECT MAX(id) FROM `ta

mysql 隨機取一條或多條資料高效率

本文詳細解說了MySQL Order By Rand()效率優化的方案，並給出了優化的思路過程，是篇不可多得的MySQL Order By Rand()效率美文。最近由於需要大概研究了一下MYSQL的隨機抽取實現方法。舉個例子，要從tablename表中隨機

mysql高效率隨機取一條或多條資料

原文連結http://www.cnblogs.com/hfww/archive/2011/07/08/2223359.html 本文詳細解說了MySQL Order By Rand()效率優化的方案，並給出了優化的思路過程，是篇不可多得的MySQL Order By Ra

關於批量插入資料（100萬級別的資料，mysql）

測試資料庫為mysql!!! 方法一: public static void insert() { // 開時時間 Long begin = new Date().getTime(); // sql字首 String pre

關於批量插入資料之我見（100萬級別的資料，mysql）

因前段時間去面試，問到如何高效向資料庫插入10萬條記錄，之前沒處理過類似問題，也沒看過相關資料，結果沒答上來，今天就查了些資料，總結出三種方法：測試資料庫為mysql!!! 方法一: publicstaticvoid insert() {

js從數組中隨機獲取n個不重復的數據

課堂 || 不重復 function return func () 思路 != 做雲課堂的作業時遇到一要求，實現刷新頁面時顯示不同數據，（數組中20個據，頁面加載10個）。思路就是從0-19中隨機生成10個不同的數，讓數組取下標輸出數據。下面是在num的範圍內生成n個不重

sampleSize - 從數組中隨機獲取 n 個元素

clas ogg 參數 cti 使用 tor hal ref per 從 array 中獲取 n 個唯一鍵隨機元素。使用Fisher-Yates算法對數組進行打亂。使用 Array.slice() 獲取第一個 n 元素。省略第二個參數，n 從數組中隨機取得 1 個元

從資料庫表中隨機獲取N條記錄的SQL語句

Oracle: select * from (select * from tableName order by dbms_random.value) where rownum < N; M

原創 mysql資料庫千萬級別資料的查詢優化和分頁測試

本文為本人最近利用幾個小時才分析總結出的原創文章,希望大家轉載,但是要註明出處 http://blog.sina.com.cn/s/blog_438308750100im0b.html 有什麼問題:[email protected]於堡艦我原來的公司是一家網路遊戲公司,其中網

列舉類中隨機獲取列舉

/** * @author 徐小驥 * @version ：2016-8-17 下午03:23:39 */ import java.util.Random; public

JAVA向Mysql插入億級別資料---測評

利用JAVA向Mysql插入一億數量級資料—效率測評前景：這幾天研究mysql優化中查詢效率時，發現測試的資料太少（10萬級別），利用 EXPLAIN 比較不同的 SQL 語句，不能夠得到比較有效的測評資料，大多模稜兩可，不敢通過這些資料下

分批次插入mysql:一次性插入mysql兩萬以上資料造成資料庫假死

專案距離上線的日期越來越近了,需要規範一下資料庫中的資料,就需要從前端頁面上匯入系統資料到mysql資料庫。匯入3萬資料,期間會有校驗,最後分別插入到四張表中,本庫插入3張表,雲平臺插

【面經】面試官：如何以最高的效率從MySQL中隨機查詢一條記錄？

## 寫在前面 > MySQL資料庫在網際網路行業使用的比較多，有些小夥伴可能會認為MySQL資料庫比較小，儲存不了很多的資料。其實，這些小夥伴是真的不瞭解MySQL。MySQL的小不是說使用MySQL儲存的資料少，而是說其體積小，比較輕量。使用MySQL完全可以儲存千億級別的資料，這個我會在後面的文

海量日誌資料__怎麼在海量資料中找出重複次數最多的一個

問題一：怎麼在海量資料中找出重複次數最多的一個演算法思想：方案1：先做hash，然後求模對映為小檔案，求出每個小檔案中重複次數最多的一個，並記錄重複次數。然後找出上一步求出的資料中重複次數最多的一個就是所求（如下）。問題二：

mysql查詢的結果表中在新增一列作為排序使用 @row_num

// 在結果表後在加一列遞增一作為排名使用 // 為了分頁的時候排名是在整體資料上進行排序而不是每一頁都是從1開始這個 @row_num應該是動態的 #{offset} 和limt #{offset} 一致 SET @row_num = 11; // 由於查詢的條件

django postgresql中隨機取出一條記錄的實現

import random random_uuid = ''.join([random.choice('0123456789abcdef') for _ in range(32)]) 採用fi

mysql查詢欄位資料不重複distinct及distinct的多欄位操作

轉載自【http://www.jb51.net/article/77997.htm】 MySQL通常使用GROUPBY(本質上是排序動作)完成DISTINCT操作,如果DISTINCT操作和ORDERBY操作組合使用,通常會用到臨時表.這樣會影響效能. 在一些情況下,M

MySQL全文檢索fulltext和中日韓文解析外掛ngram使用記錄

專案資料庫中遇到一個情況，有一個欄位儲存的是經銷廠商在工商局註冊時的（官方）全稱，但是使用者在查詢這個欄位時，很多時候都會使用到各種各樣的簡稱別稱。於是，對於該欄位，希望能夠實現類似於搜尋引擎的查詢。就像資料庫裡面存的是“中華人民共和國”，但希望是隻要使用者輸入“中國”、“中

海量資料中，找出出現次數TOPK的記錄

題目：在一個文字中有大量的字串記錄，統計出現次數最多的字串及其次數。思路：使用STL中的map可以快速的解決這個問題，map是一類關聯式容器，通過RB樹實現的，自動建立key-value的對應，key和value可以是任何型別。 #include <iostrea

MySql 100萬級別資料中隨機獲取一條或多條記錄之RAND()優化

相關推薦