1. 程式人生 > >MySQL去除重複資料

MySQL去除重複資料

<span style="font-family: Arial, Helvetica, sans-serif; background-color: rgb(255, 255, 255);">轉載自: http://www.jb51.net/article/39302.htm</span>

單表的唯一查詢用:distinct
多表的唯一查詢用:group by
distinct 查詢多表時,left join 還有效,全連線無效,
在使用mysql時,有時需要查詢出某個欄位不重複的記錄,雖然mysql提供有distinct這個關鍵字來過濾掉多餘的重複記錄只保留一條,但往往只用它來返回不重複記錄的條數,而不是用它來返回不重複記錄的所有值。其原因是distinct只能返回它的目標欄位,而無法返回其它欄位,用distinct不能解決的話,我只有用二重迴圈查詢來解決,而這樣對於一個數據量非常大的站來說,無疑是會直接影響到效率的。
下面先來看看例子:

表的結構如下:
id name
1 a
2 b
3 c
4 c
5 b
基本的表的結構大概這樣,這只是一個簡單的例子,實際的多表查詢等等情況會複雜得多。
比如我想用一條語句查詢得到name不重複的所有資料,那就必須使用distinct去掉多餘的重複記錄。
select distinct name from table
得到的結果是:
name
a

c
好像達到效果了,可是,我想要得到的是id值呢?改一下查詢語句吧:
select distinct name, id from table
結果會是:
id name
1 a
2 b
3 c
4 c
5 b
distinct怎麼沒起作用?作用其實是起了,不過他同時作用了兩個欄位,也就是必須得id與name都相同的才會被排除。
我們再改改查詢語句:
select id, distinct name from table
很遺憾,除了錯誤資訊你什麼也得不到,distinct必須放在開頭。難到不能把distinct放到where條件裡?試試,照樣報錯。

試了半天其他能想到的方法也不行,最後在mysql手冊裡找到一個用法,用group_concat(distinct name)配合group by name實現了我所需要的功能,興奮,天佑我也,趕快試試。
報錯,鬱悶!
連mysql手冊也跟我過不去,先給了我希望,然後又把我推向失望。
再仔細一查,group_concat函式是4.1支援,暈,我4.0的。沒辦法,升級,升完級一試,成功。
終於搞定了,不過這樣一來,又必須要求客戶也升級了。
突然靈機一閃,既然可以使用group_concat函式,那其它函式能行嗎?
趕緊用count函式一試,成功,費了這麼多工夫,原來就這麼簡單。
現在將完整語句放出:
select *, count(distinct name) from table group by name
結果:
id name count(distinct name)
1 a 1
2 b 1
3 c 1
最後一項是多餘的,不用管就行了,目的達到。
原來mysql這麼笨,輕輕一下就把他騙過去了,現在拿出來希望大家不要被這問題折騰。
再順便說一句,group by 必須放在 order by 和 limit之前,不然會報錯。
說一下group by的實際例子:

$sql = 'select DISTINCT n.nid,tn.tid,n.title,n.created,ni.thumbpath from {term_node} tn INNER JOIN {node} n ON n.nid=tn.nid INNER JOIN {node_images} ni ON ni.nid=n.nid where tn.tid IN('.implode(',', $tids).') ORDER BY n.nid DESC';
$res = db_query($sql);
$t_data = array();
while($r = db_fetch_array($res)) {
print_r($r);
}



用這個查詢語句的時候,總會出現兩個相同nid的情況,比如下面的結果
Array
(
[created] => 1215331278
[nid] => 1603
[tid] => 32
[title] => 夏日婚禮綠色沁飲DIY
[thumbpath] => files/node_images/home-77.1_tn.jpg
)
Array
(
[created] => 1215331278
[nid] => 1603
[tid] => 32
[title] => 夏日婚禮綠色沁飲DIY
[thumbpath] => files/node_images/003_primary_tn.jpg
)



上面用了DISTINCT也不管用,其實是管用了,但是我想查詢結構裡nid是唯一的。
最後用了group by
$sql = 'select
n.nid,tn.tid,n.title,n.created,ni.thumbpath from {term_node} tn INNER
JOIN {node} n ON n.nid=tn.nid INNER JOIN {node_images} ni ON
ni.nid=n.nid where tn.tid IN('.implode(',', $tids).') GROUP BY
n.nid DESC';
$res = db_query($sql);
$t_data = array();
while($r = db_fetch_array($res)) {
print_r($r);
}



我就得到了nid是唯一的。