distinct效率 oracle_oracle distinct 效率 - CSDN
精华内容
参与话题
  • Oracle——distinct的用法(效率

    万次阅读 2015-12-31 16:28:09
    Oracle——distinct的用法 博客分类:  Oracle oracledistinctgroup by  distinct这个关键字来过滤掉多余的重复记录只保留一条,但往往只用 它来返回不重复记录的条数,而不是用它来返回不...
    
    
    distinct这个关键字来过滤掉多余的重复记录只保留一条,但往往只用 它来返回不重复记录的条数,而不是用它来返回不重记录的所有值。其原因是distinct只有用二重循环查询来解决,而这样对于一个数据量非常大的站来说,无疑是会直接影响到效率的。

    下面先来看看例子:

    table表

    字段1     字段2    id        name    1           a    2           b    3           c    4           c    5           b

    库结构大概这样,这只是一个简单的例子,实际情况会复杂得多。

    比如我想用一条语句查询得到name不重复的所有数据,那就必须使用distinct去掉多余的重复记录。

    select distinct name from table 得到的结果是:

     

    ---------- 

    name    a    b    c

    好像达到效果了,可是,我想要得到的是id值呢?改一下查询语句吧:

    select distinct name, id from table

    结果会是:

    ---------- 

    id name    1 a    2 b    3 c    4 c    5 b

     

    distinct怎么没起作用?作用是起了的,不过他同时作用了两个字段,也就是必须得id与name都相同的才会被排除。。。。。。。

    我们再改改查询语句:

     

    select id, distinct name from table

    很遗憾,除了错误信息你什么也得不到,distinct必须放在开头。难到不能把distinct放到where条件里?能,照样报错。

    ------------------------------------------------------------------------------------------------------------

     

    下面方法也不可行:

    select *, count(distinct name) from table group by name

    结果:

     

    ORA-00979: not a GROUP BY expression
    00979. 00000 -  "not a GROUP BY expression"

     

    依然报错,

     

    group by 必须放在 order by 和 limit之前,不然会报错

     

    ------------------------------------------------------------------------------------------------------------

     

    偶认为这样可行

    select max(id), name from table group by name;

     

    结果:

    id name

    1  a

    2  b

    4  c

    5  d

     

    参考资料:

    http://www.cnblogs.com/dogxuefeng/archive/2012/06/21/2557700.html

    http://stevenfeng.iteye.com/blog/841793

     


    展开全文
  • oracle数据库使用distinct多个字段

    万次阅读 2014-01-24 13:13:53
    select DISTINCT(t.f_resume_id||t.f_resume_status),t.f_resume_status,t.f_resume_status,t.f_recruit_channel,  t.f_small_channel_id   from css.T_RESUME_INFO t where t.f_resume_st

    select DISTINCT(t.f_resume_id||t.f_resume_status),t.f_resume_status,t.f_resume_status,t.f_recruit_channel,
           t.f_small_channel_id 
                     from css.T_RESUME_INFO t  where t.f_resume_status in (80011,80012)

     

    distinct多个字段,当然相同的功能也可用group by 完成
    select a,b,c,min(d) d 
    from A
    group by a,b,c 

    通过使用 group就可以出去相同的返回结果。就不需要使用distinct了。
    二者效率,最好需要哪个的时候用哪个,group by是用来分组统计的,能用disitnct的地方就不要用group by 了。
    网友摘录:
         用group   by   和rownum嵌套,但distinct   效率高

    展开全文
  • oracledistinct多个字段

    万次阅读 2010-10-18 09:35:00
    select DISTINCT(t.f_resume_id||t.f_resume_status),t.f_resume_status,t.f_resume_status,t.f_recruit_channel, t.f_small_channel_id from wintalent3.T_CORP_LOG_RESUME_INFO t where t.f_resume_status in ...

    select DISTINCT(t.f_resume_id||t.f_resume_status),t.f_resume_status,t.f_resume_status,t.f_recruit_channel,
           t.f_small_channel_id
                     from css.T_RESUME_INFO t  where t.f_resume_status in (80011,80012)

     

    distinct多个字段,当然相同的功能也可用group by 完成
    select a,b,c,min(d) d
    from A
    group by a,b,c

    通过使用 group就可以出去相同的返回结果。就不需要使用distinct了。
    二者效率,最好需要哪个的时候用哪个,group by是用来分组统计的,能用disitnct的地方就不要用group by 了。
    网友摘录:
         用group   by   和rownum嵌套,但distinct   效率高

    展开全文
  • Oracledistinct的用法实例 摘要: 此外,distinct 会对返回的结果集进行排序 所以会大大影响查询效率,大数据集时比较明显 。所以,最好和order by 结合使用,可以提高效率 。 select distinct a,b,c from t...

    Oracle中distinct的用法实例

    摘要:

    此外,distinct 会对返回的结果集进行排序 所以会大大影响查询效率,大数据集时比较明显 所以,最好和order by 结合使用,可以提高效率

    select  distinct  a,b,c from t;表t里列的顺序为c,a,b ,则distinct 排序时是按前者还是后者来呢?


            distinct这个关键字来过滤掉多余的重复记录只保留一条,但往往只用 它来返回不重复记录的条数,而不是用它来返回不重记录的所有值。其原因是distinct只有用二重循环查询来解决,而这样对于一个数据量非常大的站来说,无疑是会直接影响到效率的。

    下面先来看看例子:

    table表

    字段1     字段2
       id        name
       1           a
       2           b
       3           c
       4           c
       5           b

    表结构大概这样,这只是一个简单的例子,实际情况会复杂得多。

    比如我想用一条语句查询得到name不重复的所有数据,那就必须使用distinct去掉多余的重复记录。

    select distinct name from table
    得到的结果是:

    ———- 

    name
       a
       b
       c

    好像达到效果了,可是,我想要得到的是id值呢?改一下查询语句吧:

    select distinct name, id from table

    结果会是:

    ———- 

    id name
       1 a
       2 b
       3 c
       4 c
       5 b

    distinct怎么没起作用?作用是起了的,不过他同时作用了两个字段,也就是必须得id与name都相同的才会被排除。。。。。。。

    我们再改改查询语句:

    select id, distinct name from table

    很遗憾,除了错误信息你什么也得不到,distinct必须放在开头。难到不能把distinct放到where条件里?能,但是照样会报错。

    ————————————————————————————————————

    下面方法可行:

    select *, count(distinct name) from table group by name

    结果:

       id name count(distinct name)
       1 a 1
       2 b 1
       3 c 1

    最后一项是多余的,不用管就行了,目的达到。。。。。

    group by 必须放在 order by 和 limit之前,不然会报错

    ===========================================================

    另一篇网上转载的博文:

    Oracle distince 用法和删除重复数据

    oracle distinct语句的用法 创建视图时过滤数据
    distinct的只显示一次重复出更的值。
    不过这个值出现多少次只显示一次。
    select distinct 字段名1,字段名2 from 表格 order by 字段名1
    distinct 字段名1 意思是只显示一次字段名1显示的是第一次出现的。
    最好和order by 结合使用。可以提高效率
    distinct 返回唯一的结果集
    注意,是结果集,如果你选了N个字段,当N个字段都相同时
    才会被视为相同,而只返加一个
    当然,如果N=1的话,情况就会比较明显
    此外,distinct 会对返回的结果集进行排序 所以会大大影响查询效率,大数据集时比较明显
    select distinct hjrq from T_MIDDLE_HJCG order by hjrq
    asc 增序 默认
    desc 降序

    Oracle 中如何删除重复数据

    我们可能会出现这种情况,某个表原来设计不周全,导致表里面的数据数据重复,那么,如何对重复的数据进行删除呢?
    重复的数据可能有这样两种情况,第一种时表中只有某些字段一样,第二种是两行记录完全一样。

    一、对于部分字段重复数据的删除
    先来谈谈如何查询重复的数据吧。
    下面语句可以查询出那些数据是重复的:
    select 字段1,字段2,count(*) from 表名 group by 字段1,字段2 having count(*) > 1
    将上面的>号改为=号就可以查询出没有重复的数据了。
    想要删除这些重复的数据,可以使用下面语句进行删除
    delete from 表名 a where 字段1,字段2 in
    (select 字段1,字段2,count(*) from 表名 group by 字段1,字段2 having count(*) > 1)
    上面的语句非常简单,就是将查询到的数据删除掉。不过这种删除执行的效率非常低,对于大数据量来说,可能会将数据库吊死。所以我建议先将查询到的重复的数据插入到一个临时表中,然后对进行删除,这样,执行删除的时候就不用再进行一次查询了。如下:
    CREATE TABLE 临时表 AS
    (select 字段1,字段2,count(*) from 表名 group by 字段1,字段2 having count(*) > 1)
    上面这句话就是建立了临时表,并将查询到的数据插入其中。
    下面就可以进行这样的删除操作了:
    delete from 表名 a where 字段1,字段2 in (select 字段1,字段2 from 临时表);
    这种先建临时表再进行删除的操作要比直接用一条语句进行删除要高效得多。

    这个时候,大家可能会跳出来说,什么?你叫我们执行这种语句,那不是把所有重复的全都删除吗?而我们想保留重复数据中最新的一条记录啊!大家不要急,下面我就讲一下如何进行这种操作。
    在oracle中,有个隐藏了自动rowid,里面给每条记录一个唯一的rowid,我们如果想保留最新的一条记录,
    我们就可以利用这个字段,保留重复数据中rowid最大的一条记录就可以了。
    下面是查询重复数据的一个例子:
    select a.rowid,a.* from 表名 a
    where a.rowid !=
    (
    select max(b.rowid) from 表名 b
    where a.字段1 = b.字段1 and
    a.字段2 = b.字段2
    )
    下面我就来讲解一下,上面括号中的语句是查询出重复数据中rowid最大的一条记录。
    而外面就是查询出除了rowid最大之外的其他重复的数据了。
    由此,我们要删除重复数据,只保留最新的一条数据,就可以这样写了:
    delete from 表名 a
    where a.rowid !=
    (
    select max(b.rowid) from 表名 b
    where a.字段1 = b.字段1 and
    a.字段2 = b.字段2
    )

    随便说一下,上面语句的执行效率是很低的,可以考虑建立临时表,讲需要判断重复的字段、rowid插入临时表中,然后删除的时候在进行比较。
    create table 临时表 as
    select a.字段1,a.字段2,MAX(a.ROWID) dataid from 正式表 a GROUP BY a.字段1,a.字段2;
    delete from 表名 a
    where a.rowid !=
    (
    select b.dataid from 临时表 b
    where a.字段1 = b.字段1 and
    a.字段2 = b.字段2
    );
    commit;

    二、对于完全重复记录的删除

    对于表中两行记录完全一样的情况,可以用下面语句获取到去掉重复数据后的记录:
    select distinct * from 表名
    可以将查询的记录放到临时表中,然后再将原来的表记录删除,最后将临时表的数据导回原来的表中。如下:
    CREATE TABLE 临时表 AS (select distinct * from 表名);
    drop table 正式表;
    insert into 正式表 (select * from 临时表);
    drop table 临时表;

    如果想删除一个表的重复数据,可以先建一个临时表,将去掉重复数据后的数据导入到临时表,然后在从
    临时表将数据导入正式表中
    ,如下:
    INSERT INTO t_table_bak
    select distinct * from t_table;

    展开全文
  • Union 和 Union all + distinct 性能比较

    千次阅读 2018-01-16 15:56:40
     测试环境oracle11g 单实例环境  结论:在大数据量的情况下distinct + union all 性能大于 UNION 的性能 1.distinct + union all 场景  ---数据量1074177-- ----用时2.158秒----  SELECT COUNT(*) ...
  • Oracle去重函数distinct

    千次阅读 2019-11-27 10:40:24
    distinct用于返回唯一不同的值。 表table1: id value 1 a 1 a 2 b 3 b 4 c 5 c 表table2: username password tom s123456 toms 123456 表table3: ...
  • Oracle数据库中distinct的用法

    千次阅读 2013-09-04 09:36:27
    distinct这个关键字来过滤掉...其原因是distinct只有用二重循环查询来解决,而这样对于一个数据量非常大的站来说,无疑是会直接影响到效率的。 下面先来看看例子: table表 字段1 字段2  id name  1 a  2 
  • Oracle】sql循环遍历查询结果

    万次阅读 2017-03-09 17:43:16
    轨迹表特点: 一天一张轨迹表,存储武汉市全市渣土车数据,名称以GA_GPS_HISTORY_开头,大概一天会有几千台车,每天数据量大概几百万条记录至千万条记录,目前存储有5个月的数据。 需求: ...
  • Oracle Exists用法

    万次阅读 2018-10-11 18:36:26
    (一) 用Oracle Exists替换DISTINCT:  当提交一个包含一对多表信息(比如部门表和雇员表)的查询时,避免在SELECT子句中使用DISTINCT。一般能够考虑用Oracle EXIST替换,Oracle Exists使查询更为迅速,因为RDBMS核心...
  • SQL 查询语句 distinct用法总结

    千次阅读 2012-02-16 14:47:42
    distinct的只显示一次重复出更的值。 不过这个值出现多少次只显示一次。 select distinct 字段名1,字段名2 ...可以提高效率distinct 返回唯一的结果集注意,是结果集,如果你选了N个字段,当N个字段都相同时 才会被视为相
  • oracle执行计划中的filter

    万次阅读 2011-11-30 15:57:18
    filter这个操作在《Cost Based Oracle Fundamental》此书第九章有介绍。filter的操作是对外表的每一行,都要对内表执行一次全表扫描,...其实filter 的性能实际上跟列值distinct数有关,oracle在执行的时候实际上做了很
  • 在使用mysql时,有时需要查询出某个字段不重复的记录,虽然mysql提供有distinct这个关键字来过滤掉多余的重复记录只保留一条,但往往只用它来返回不重复记录的条数,而不是用它来返回不重记录的所有值。其原因是...
  • oracle 真正去重效率语句

    千次阅读 2015-08-11 14:51:41
    insert into quchong select * from myallpoi where rowid in ( SELECT MIN(rowid) AS id FROM myallpoi GROUP BY uuid) 30万数据14秒
  • distinct用法和优化

    千次阅读 2014-06-15 19:17:06
    正确的语法 select distinct c
  • 尽量不要使用 distinct

    万次阅读 2015-01-18 22:52:37
    大多数情况下,Distinct函数都会导致对最终结果集完成一次排序,因此,这就成为成本最昂贵的排序之一。Distinct一直是SQL语言中成本最高的函数之一。不过,对于DB2V9,优化工具会尽量利用索引来消除为确定唯一性所...
  • oracledistinct的用法详解

    千次阅读 2016-12-16 09:47:32
    作者:Eric.Yan ...其原因是distinct只有用二重循环查询来解决,而这样对于一个数据量非常大的站来说,无疑是会直接影响到效率的。 下面先来看看例子: table表 字段1 字段2 id name 1 
  • Count distinct是SQL分析时的祸根,因此它是我第一篇博客的不二选择。 首先:如果你有一个大的且能够容忍不精确的数据集,那像HyperLogLog这样的概率计数器应该是你最好的选择。(我们会在以后的博客中谈到...
  • Oracle中count函数

    千次阅读 2014-07-27 15:44:16
    SELECT count(*) from test; SELECT count(1) from test;...SELECT count(distinct column1) from test; count(*) count(1)  上两个方法执行结果相同,但是效率会有轻微的差别   count(*)走的是标
  • Oracle中 NOT IN 优化

    万次阅读 2017-02-28 14:21:29
    针对一个 NOT IN 语句: ...( SELECT DISTINCT FORM_ID FROM HSP_FORM TT ) ORDER BY T.OBJECT_ID ; 如果数据量不大,那么没有问题。 但是数据量过大的时候,NOT IN 效率差的特点会十分明显。 此
1 2 3 4 5 ... 20
收藏数 20,185
精华内容 8,074
关键字:

distinct效率 oracle