在使用MYSQL的select distinct name from table语句时，输出的只是去重之后name字段的信息，而希望的是能够输出考生ID、考试时间、考试成绩等的信息。使用

select distinct name, sorce from table

结果发现去重不起作用，因为MYSQL认为要sorce和name同时重复才会去除。 最终解决办法如下：

select *, count(distinct name) from table group by name

如果SQL语句还有limit,order by等条件，必须放在group by后面。 这样就达到了既去重，又能够输出更多字段信息的目的.

SELECT语句，去除某个字段的重复信息，例如：

表名：table

id uid username message dateline

1 6　　a　　　　111　　　　1284240714(时间戳)

2 6　　a　　　　222　　　　1268840565

3 8　　b　　　　444　　　　1266724527

4 9　　c　　　　555　　　　1266723391

执行语句(去除username字段重复信息并按时间排序)：

SELECT *

FROM table a INNER JOIN ( SELECT max( dateline ) AS dateline

FROM table GROUP BY uid ) b ON a.dateline = b.dateline

GROUP BY id ORDER BY a.dateline DESC

结果：

id uid username message dateline

1 6　　a　　　　111　　　　1284240714(时间戳)

3 8　　b　　　　444　　　　1266724527

4 9　　c　　　　555　　　　1266723391

此语句用于显示最新记录信息，在一个区域内不允许某个信息(例如：用户)同时出现多次(一次以上)。

后记：效率问题

开始用了个这语句：

select * from table where dateline IN ( select max(dateline) from table GROUP BY uid ) ORDER BY dateline DESC

IN：当处理数据量比较大的时候，就没效率可言了，所以优化成内联，计算下快了6倍多。。。

继续条效率就加索引了~~

首先先分析一下 我们现在的目的 是 查询到这俩张表的所有数据 然后进行删除重复记录 每条数据只保留一条

第一步：

查询以下俩张表的重复记录 (关键字段重复>1)

ks_examcity 、 ks_examdistrict

select * from ks_examcity group by examSubjectID,city,province having count(examSubjectID)>1;

select * from ks_examdistrict group by examSubjectID,district,city having count(examSubjectID)>1;

第二步：

查询这两张表中 每条记录的第一条记录 (每条记录重复中的第一条 id最小)

select min(id)

from ks_examcity

group by examSubjectID, city, province

having count(examSubjectID)> 1

SELECT min(id)

FROM `ks_examdistrict`

GROUP BY `examSubjectID`, `district`, `city`

HAVING COUNT(`examSubjectID`)> 1

第三步：

联查： 查询所有的重复数据以及重复记录中第一条以外的数据

select `examSubjectID`

from ks_examcity

group by examSubjectID, city, province

having count(examSubjectID)> 1 )

and id not in(

select min(id)

from ks_examcity

group by examSubjectID, city, province

having count(examSubjectID)> 1

SELECT `examSubjectID`

from `ks_examdistrict`

group by `examSubjectID`, `district`, `city`

HAVING COUNT(`examSubjectID`)> 1)

and id not in(

SELECT min(id)

FROM `ks_examdistrict`

GROUP BY `examSubjectID`, `district`, `city`

HAVING COUNT(`examSubjectID`)> 1

第四步： 查询以上查询到的数据的所有id 并以查询到的id作为条件 进行删除

delete from `ks_examcity` where id IN( select id from (

select id

from ks_examcity

where `examSubjectID` in(

select `examSubjectID`

from ks_examcity

group by examSubjectID, city, province

having count(examSubjectID)> 1 )

and id not in(

select min(id)

from ks_examcity

group by examSubjectID, city, province

having count(examSubjectID)> 1)) as tmpresult)

======================================================

DELETE

FROM `ks_examdistrict`

where id IN(

SELECT id

from(

select id

from `ks_examdistrict`

where `examSubjectID` in(

SELECT `examSubjectID`

from `ks_examdistrict`

group by `examSubjectID`, `district`, `city`

HAVING COUNT(`examSubjectID`)> 1)

and id not in(

SELECT min(id)

FROM `ks_examdistrict`

GROUP BY `examSubjectID`, `district`, `city`

HAVING COUNT(`examSubjectID`)> 1)) as tmpresult)

原文：https://blog.51cto.com/13922718/2433185

mysql去重多个字段

源表：

select distinct id , name, phone from chongfubiao_quchong;

select distinct * from chongfubiao_quchong;

不合适的命令：

distinct(*)命令 #语法错误

[Err] 1064 - You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near '*) from chongfubiao_quchong' at line 1

distinct(id)查出来的是一列

select distinct (id,name,phone) from chongfubiao_quchong;

[Err] 1241 - Operand should contain 1 column(s)

解决过程：

查询多个字段去重

参考命令：select distinct ID,AA,BB from tName

有个疑问：

之前查询无论

distinct (单个字段)还是

distinct 多个字段 好像查询到的数据都是根据多个字段去重的。不知道怎么查询显示了？

将查到的去重数据抽到新表

INSERT into chongfubiao_quchong_copy (id, nam, phone)

select distinct *  from chongfubiao_quchong ;

写的错误语句

INSERT into chongfubiao_quchong_copy (id, nam, phone) values

select distinct *  from chongfubiao_quchong ;

多了values因为查到的是有id,name,phone还有数据

如果直接插要加values的

INSERT into chongfubiao_quchong_copy (id, nam, phone) values

(5, '3', '4')

总结：

去重语句

#每个字段查询

select distinct 列1名 , 列2名.. from 表名;

#所有查询

select distinct * from 表名;

插入语句

#插入一条数据

INSERT into 插入表 (列1名 , 列2名..) value

(数据1,数据2,..) ;

#插入多条数据

INSERT into 插入表 (列1名 , 列2名..) values

(数据1,数据2,..) ,(数据1,数据2,..);

#插入 查询到的数据

INSERT into 插入表 (列1名 , 列2名..) # 括号中东西不能用*替换

select distinct * from 查询表 ;

在Navicat中复制一个表，并粘贴一个。很快1m 600w数据(3列)(写语句也一样)

下面的是去重了之后插入的先查询在插入

[SQL]INSERT into g....(id,xm,sfzh,jymc,jyjg,jgmc,jysj) SELECT distinct * from g....;

时间: 13.450s

受影响的行: 6796168

679w数据(函id、姓名、身份证号)的查询和插入另一个表 用时13s。。。。

SELECT distinct * from g....;

查询字段出现大于1次的数据

select 字段 from 表 group by 字段 having count(字段 ) >1;

更新时间 不要后面有小数的 。 不加0后面有小数

UPDATE 更新表 SET sj = current_timestamp(0);