[[344631]]

作者個(gè)人研發(fā)的在高并發(fā)場(chǎng)景下，提供的簡(jiǎn)單、穩(wěn)定、可擴(kuò)展的延遲消息隊(duì)列框架，具有精準(zhǔn)的定時(shí)任務(wù)和延遲隊(duì)列處理功能。自開源半年多以來，已成功為十幾家中小型企業(yè)提供了精準(zhǔn)定時(shí)調(diào)度方案，經(jīng)受住了生產(chǎn)環(huán)境的考驗(yàn)。為使更多童鞋受益，現(xiàn)給出開源框架地址：

https://github.com/sunshinelyz/mykit-delay

寫在前面

最近，有小伙伴出去面試，面試官問了這樣的一個(gè)問題：如何查詢和刪除MySQL中重復(fù)的記錄?相信對(duì)于這樣一個(gè)問題，有不少小伙伴會(huì)一臉茫然。那么，我們?nèi)绾蝸硗昝赖幕卮疬@個(gè)問題呢?今天，我們就一起來探討下這個(gè)經(jīng)典的MySQL面試題。

問題分析

對(duì)于標(biāo)題中的問題，有兩種理解。第一種理解為將標(biāo)題的問題拆分為兩個(gè)問題，分別為：如何查詢MySQL中的重復(fù)記錄?如何刪除MySQL中的重復(fù)記錄?另一種理解為：如何查詢并刪除MySQL中的重復(fù)記錄?

沒關(guān)系，不管怎么理解，我們今天都要搞定它!!

為了小伙伴們更好的理解如何在實(shí)際工作中解決遇到的類似問題。這里，我就不簡(jiǎn)單的回答標(biāo)題的問題了，而是以SQL語句來實(shí)現(xiàn)各種場(chǎng)景下，查詢和刪除MySQL數(shù)據(jù)庫(kù)中的重復(fù)記錄。

問題解決

查找重復(fù)記錄

1、查找全部重復(fù)記錄

select * from 表 where 重復(fù)字段 in (select 重復(fù)字段 from 表 group by 重復(fù)字段 having count(*)>1) 

2、過濾重復(fù)記錄(只顯示一條)

select * from HZT Where ID In (select max(ID) from HZT group by Title) 

注：此處顯示ID最大一條記錄。

刪除重復(fù)記錄

1、刪除全部重復(fù)記錄(慎用)

delete 表 where 重復(fù)字段 in (select 重復(fù)字段 from 表 group by 重復(fù)字段 having count(*)>1) 

2、保留一條(這個(gè)應(yīng)該是大多數(shù)人所需要的 ^_^)

delete HZT where ID not In (select max(ID) from HZT group by Title) 

注：此處保留ID最大一條記錄。

三、舉例

1、查找表中多余的重復(fù)記錄，重復(fù)記錄是根據(jù)單個(gè)字段(peopleId)來判斷

select * from people where peopleId in (select peopleId from people group by peopleId having count(peopleId) > 1) 

2、刪除表中多余的重復(fù)記錄，重復(fù)記錄是根據(jù)單個(gè)字段(peopleId)來判斷，只留有rowid最小的記錄

delete from people where peopleId in (select peopleId from people group by peopleId having count(peopleId) > 1) and rowid not in (select min(rowid) from people group by peopleId having count(peopleId )>1) 

3、查找表中多余的重復(fù)記錄(多個(gè)字段)

select * from vitae a where (a.peopleId,a.seq) in (select peopleId,seq from vitae group by peopleId,seq having count(*) > 1) 

4、刪除表中多余的重復(fù)記錄(多個(gè)字段)，只留有rowid最小的記錄

delete from vitae a where (a.peopleId,a.seq) in (select peopleId,seq from vitae group by peopleId,seq having count(*) > 1) and rowid not in (select min(rowid) from vitae group by peopleId,seq having count(*)>1) 

5、查找表中多余的重復(fù)記錄(多個(gè)字段)，不包含rowid最小的記錄

select * from vitae a where (a.peopleId,a.seq) in (select peopleId,seq from vitae group by peopleId,seq having count(*) > 1) and rowid not in (select min(rowid) from vitae group by peopleId,seq having count(*)>1) 

四、補(bǔ)充

有兩個(gè)以上的重復(fù)記錄，一是完全重復(fù)的記錄，也即所有字段均重復(fù)的記錄，二是部分關(guān)鍵字段重復(fù)的記錄，比如Name字段重復(fù)，而其他字段不一定重復(fù)或都重復(fù)可以忽略。

1、對(duì)于第一種重復(fù)，比較容易解決，使用

select distinct * from tableName 

就可以得到無重復(fù)記錄的結(jié)果集。

如果該表需要?jiǎng)h除重復(fù)的記錄(重復(fù)記錄保留1條)，可以按以下方法刪除

select distinct * into #Tmp from tableName 
drop table tableName 
select * into tableName from #Tmp 
drop table #Tmp 

發(fā)生這種重復(fù)的原因是表設(shè)計(jì)不周產(chǎn)生的，增加唯一索引列即可解決。

2、這類重復(fù)問題通常要求保留重復(fù)記錄中的第一條記錄，操作方法如下 。

假設(shè)有重復(fù)的字段為Name,Address，要求得到這兩個(gè)字段唯一的結(jié)果集

select identity(int,1,1) as autoID, * into #Tmp from tableName 
select min(autoID) as autoID into #Tmp2 from #Tmp group by Name,autoID 
select * from #Tmp where autoID in(select autoID from #tmp2) 

本文轉(zhuǎn)載自微信公眾號(hào)「冰河技術(shù) 」，可以通過以下二維碼關(guān)注。轉(zhuǎn)載本文請(qǐng)聯(lián)系冰河技術(shù)公眾號(hào)。