精华内容
下载资源
问答
  • Oracle SQL的优化

    万次阅读 热门讨论 2009-10-14 21:18:00
    SQL的优化应该从5个方面进行调整:1.去掉不必要的大型表的全表扫描2.缓存小型表的全表扫描3.检验优化索引的使用4.检验优化的连接技术5.尽可能减少执行计划的CostSQL语句:是对数据库(数据)进行操作的惟一途径;消耗...

    SQL的优化应该从5个方面进行调整:
    1.去掉不必要的大型表的全表扫描
    2.缓存小型表的全表扫描
    3.检验优化索引的使用
    4.检验优化的连接技术
    5.尽可能减少执行计划的Cost

    SQL语句:
    是对数据库(数据)进行操作的惟一途径;
    消耗了70%~90%的数据库资源;独立于程序设计逻辑,相对于对程序源代码的优化,对SQL语句的优化在时间成本和风险上的代价都很低;
    可以有不同的写法;易学,难精通。


    SQL优化:
    固定的SQL书写习惯,相同的查询尽量保持相同,存储过程的效率较高。
    应该编写与其格式一致的语句,包括字母的大小写、标点符号、换行的位置等都要一致

    ORACLE优化器:
    在任何可能的时候都会对表达式进行评估,并且把特定的语法结构转换成等价的结构,这么做的原因是
    要么结果表达式能够比源表达式具有更快的速度
    要么源表达式只是结果表达式的一个等价语义结构
    不同的SQL结构有时具有同样的操作(例如:= ANY (subquery) and IN (subquery)),ORACLE会把他们映射到一个单一的语义结构。
    常量优化:
    常量的计算是在语句被优化时一次性完成,而不是在每次执行时。下面是检索月薪大于2000的的表达式:
    sal > 24000/12
    sal > 2000
    sal*12 > 24000
    如果SQL语句包括第一种情况,优化器会简单地把它转变成第二种。
    优化器不会简化跨越比较符的表达式,例如第三条语句,鉴于此,应尽量写用常量跟字段比较检索的表达式,而不要将字段置于表达式当中。否则没有办法优化,比如如果sal上有索引,第一和第二就可以使用,第三就难以使用。


    操作符优化:
    优化器把使用LIKE操作符和一个没有通配符的表达式组成的检索表达式转换为一个=操作符表达式。
    例如:优化器会把表达式ename LIKE 'SMITH'转换为ename = 'SMITH'
    优化器只能转换涉及到可变长数据类型的表达式,前一个例子中,如果ENAME字段的类型是CHAR(10), 那么优化器将不做任何转换。

     

    一般来讲LIKE比较难以优化。
    其中:
    ~~IN 操作符优化:
        优化器把使用IN比较符的检索表达式替换为等价的使用=OR操作符的检索表达式。
        例如,优化器会把表达式ename IN ('SMITH','KING','JONES')替换为
    ename = 'SMITH' OR ename = 'KING' OR ename = 'JONES

    oracle 会将 in 后面的东西生成一张内存中的临时表。然后进行查询。


    如何编写高效的SQL:
        当然要考虑sql常量的优化和操作符的优化啦,另外,还需要:
    合理的索引设计:
    例:表record620000行,试看在不同的索引下,下面几个SQL的运行情况:
    语句A
    SELECT count(*) FROM record
    WHERE date >'19991201' and date <'19991214‘ and amount >2000
    语句B
    SELECT count(*) FROM record
    WHERE date >'19990901' and place IN ('BJ','SH')
    语句C
    SELECT date,sum(amount) FROM record
    group by date
    date上建有一个非聚集索引
    A(25)
    B(27)
    C(55)
    分析:
    date上有大量的重复值,在非聚集索引下,数据在物理上随机存放在数据页上,在范围查找时,必须执行一次表扫描才能找到这一范围内的全部行。
    date上的一个聚集索引
    A:(14秒)
    B:(14秒)
    C:(28秒)
    分析:
    在聚集索引下,数据在物理上按顺序在数据页上,重复值也排列在一起,因而在范围查找时,可以先找到这个范围的起末点,且只在这个范围内扫描数据页,避免了大范围扫描,提高了查询速度。
    placedateamount上的组合索引
    A:(26秒)
    C:(27秒)
    B:(<1秒)
    分析:
    这是一个不很合理的组合索引,因为它的前导列是place,第一和第二条SQL没有引用place,因此也没有利用上索引;第三个SQL使用了place,且引用的所有列都包含在组合索引中,形成了索引覆盖,所以它的速度是非常快的。
    dateplaceamount上的组合索引
    A: (<1)
    B:(<1秒)
    C:(11秒)
    分析:
    这是一个合理的组合索引。它将date作为前导列,使每个SQL都可以利用索引,并且在第一和第三个SQL中形成了索引覆盖,因而性能达到了最优。

    总结1
    缺省情况下建立的索引是非聚集索引,但有时它并不是最佳的;合理的索引设计要建立在对各种查询的分析和预测上。一般来说:
    有大量重复值、且经常有范围查询(between, >,<>=,<=)和order bygroup by发生的列,考虑建立聚集索引;
    经 常同时存取多列,且每列都含有重复值可考虑建立组合索引;在条件表达式中经常用到的不同值较多的列上建立检索,在不同值少的列上不要建立索引。比如在雇员 表的性别列上只有两个不同值,因此就无必要建立索引。如果建立索引不但不会提高查询效率,反而会严重降低更新速度。
    组合索引要尽量使关键查询形成索引覆盖,其前导列一定是使用最频繁的列。
    避免使用不兼容的数据类型:
    例如floatINtcharvarcharbINaryvarbINary是不兼容的。数据类型的不兼容可能使优化器无法执行一些本来可以进行的优化操作。例如:
    SELECT name FROM employee WHERE salary > 60000
    在这条语句中,salary字段是money型的,则优化器很难对其进行优化,因为60000是个整型数。我们应当在编程时将整型转化成为钱币型,而不要等到运行时转化。
    3 IS NULL IS NOT NULL
    不 能用null作索引,任何包含null值的列都将不会被包含在索引中。即使索引有多列这样的情况下,只要这些列中有一列含有null,该列就会从索引中排 除。也就是说如果某列存在空值,即使对该列建索引也不会提高性能。任何在WHERE子句中使用is nullis not null的语句优化器是不允 许使用索引的。
    5 INOR子句常会使用工作表,使索引失效:
    如果不产生大量重复值,可以考虑把子句拆开。拆开的子句中应该包含索引。
    避免或简化排序:
    应当简化或避免对大型表进行重复的排序。当能够利用索引自动以适当的次序产生输出时,优化器就避免了排序的步骤。以下是一些影响因素:
    索引中不包括一个或几个待排序的列;
    group byorder by子句中列的次序与索引的次序不一样;
    排序的列来自不同的表。
    为了避免不必要的排序,就要正确地增建索引,合理地合并数据库表(尽管有时可能影响表的规范化,但相对于效率的提高是值得的)。如果排序不可避免,那么应当试图简化它,如缩小排序的列的范围等。


    消除对大型表行数据的顺序存取:
    在 嵌套查询中,对表的顺序存取对查询效率可能产生致命的影响。比如采用顺序存取策略,一个嵌套3层的查询,如果每层都查询1000行,那么这个查询就要查询 10亿行数据。避免这种情况的主要方法就是对连接的列进行索引。例如,两个表:学生表(学号、姓名、年龄??)和选课表(学号、课程号、成绩)。如果两个 表要做连接,就要在学号这个连接字段上建立索引。
    还可以使用并集来避免顺序存取。尽管在所有的检查列上都有索引,但某些形式的WHERE子句强迫优化器使用顺序存取。下面的查询将强迫对orders表执行顺序操作:
    SELECT * FROM orders WHERE (customer_num=104 AND order_num>1001) OR order_num=1008
    虽然在customer_numorder_num上建有索引,但是在上面的语句中优化器还是使用顺序存取路径扫描整个表。因为这个语句要检索的是分离的行的集合,所以应该改为如下语句:
    SELECT * FROM orders WHERE customer_num=104 AND order_num>1001
    UNION
    SELECT * FROM orders WHERE order_num=1008
    这样就能利用索引路径处理查询。


    避免相关子查询:
    一个列的标签同时在主查询和WHERE子句中的查询中出现,那么很可能当主查询中的列值改变之后,子查询必须重新查询一次。查询嵌套层次越多,效率越低,因此应当尽量避免子查询。如果子查询不可避免,那么要在子查询中过滤掉尽可能多的行。
    避免困难的正规表达式:
    MATCHESLIKE关键字支持通配符匹配,技术上叫正规表达式。但这种匹配特别耗费时间。

    例如:SELECT * FROM customer WHERE zipcode LIKE 98_ _ _
    即使在zipcode字段上建立了索引,在这种情况下也还是采用顺序扫描的方式。如果把语句改为SELECT * FROM customer WHERE zipcode >98000,在执行查询时就会利用索引来查询,显然会大大提高速度。
    另外,还要避免非开始的子串。例如语句:SELECT * FROM customer WHERE zipcode[23] >80,在WHERE子句中采用了非开始子串,因而这个语句也不会使用索引。

     

    10 不充份的连接条件:
    例:表card7896行,在card_no上有一个非聚集索引,表account191122行,在account_no上有一个非聚集索引,试看在不同的表连接条件下,两个SQL的执行情况:
    SELECT sum(a.amount) FROM account a,card b WHERE a.card_no = b.card_no
    20秒)
    SQL改为:
    SELECT sum(a.amount) FROM account a,card b WHERE a.card_no = b.card_no and a.account_no=b.account_no
    <1秒)
    分析:
    在第一个连接条件下,最佳查询方案是将account作外层表,card作内层表,利用card上的索引,其I/O次数可由以下公式估算为:
    外层表account上的22541+(外层表account191122*内层表card上对应外层表第一行所要查找的3页)=595907I/O
    在第二个连接条件下,最佳查询方案是将card作外层表,account作内层表,利用account上的索引,其I/O次数可由以下公式估算为:
    外层表card上的1944+(外层表card7896*内层表account上对应外层表每一行所要查找的4页)= 33528I/O
    可见,只有充份的连接条件,真正的最佳方案才会被执行。
    多表操作在被实际执行前,查询优化器会根据连接条件,列出几组可能的连接方案并从中找出系统开销最小的最佳方案。连接条件要充份考虑带有索引的表、行数多的表;内外表的选择可由公式:外层表中的匹配行数*内层表中每一次查找的次数确定,乘积最小为最佳方案。
    不可优化的WHERE子句
    1
    下列SQL条件语句中的列都建有恰当的索引,但执行速度却非常慢:
    SELECT * FROM record WHERE substrINg(card_no,1,4)='5378'
    (13)
    SELECT * FROM record WHERE amount/30<1000
    11秒)
    SELECT * FROM record WHERE convert(char(10),date,112)='19991201'
    10秒)
    分析:
    WHERE子句中对列的任何操作结果都是在SQL运行时逐列计算得到的,因此它不得不进行表搜索,而没有使用该列上面的索引;如果这些结果在查询编译时就能得到,那么就可以被SQL优化器优化,使用索引,避免表搜索,因此将SQL重写成下面这样:
    SELECT * FROM record WHERE card_no like '5378%'
    <1秒)
    SELECT * FROM record WHERE amount<1000*30
    <1秒)
    SELECT * FROM record WHERE date= '1999/12/01'
    <1秒)
    11 存储过程中,采用临时表优化查询:

    1.从parven表中按vendor_num的次序读数据:
    SELECT part_numvendor_numprice FROM parven ORDER BY vendor_num
    INTO temp pv_by_vn
    这个语句顺序读parven50页),写一个临时表(50页),并排序。假定排序的开销为200页,总共是300页。
    2.把临时表和vendor表连接,把结果输出到一个临时表,并按part_num排序:
    SELECT pv_by_vn,* vendor.vendor_num FROM pv_by_vnvendor
    WHERE pv_by_vn.vendor_num=vendor.vendor_num
    ORDER BY pv_by_vn.part_num
    INTO TMP pvvn_by_pn
    DROP TABLE pv_by_vn
    这 个查询读取pv_by_vn(50),它通过索引存取vendor1.5万次,但由于按vendor_num次序排列,实际上只是通过索引顺序地读 vendor表(402=42页),输出的表每页约95行,共160页。写并存取这些页引发5160=800次的读写,索引共读写892页。
    3.把输出和part连接得到最后的结果:
    SELECT pvvn_by_pn.*,part.part_desc FROM pvvn_by_pnpart
    WHERE pvvn_by_pn.part_num=part.part_num
    DROP TABLE pvvn_by_pn
    这样,查询顺序地读pvvn_by_pn(160),通过索引读part1.5万次,由于建有索引,所以实际上进行1772次磁盘读写,优化比例为301
    ~~ANYSOME 操作符优化:
        优化器将跟随值列表的ANYSOME检索条件用等价的同等操作符和OR组成的表达式替换。
        例如,优化器将如下所示的第一条语句用第二条语句替换:
        sal > ANY (:first_sal, :second_sal)
        sal > :first_sal OR sal > :second_sal
        优化器将跟随子查询的ANYSOME检索条件转换成由EXISTS和一个相应的子查询组成的检索表达式。
        例如,优化器将如下所示的第一条语句用第二条语句替换:
        x > ANY (SELECT sal FROM emp WHERE job = 'ANALYST')
        EXISTS (SELECT sal FROM emp WHERE job = 'ANALYST' AND x > sal)
    ~~ALL操作符优化:
        优化器将跟随值列表的ALL操作符用等价的=AND组成的表达式替换。例如:
        sal > ALL (:first_sal, :second_sal)表达式会被替换为:
        sal > :first_sal AND sal > :second_sal
        对于跟随子查询的ALL表达式,优化器用ANY和另外一个合适的比较符组成的表达式替换。例如
        x > ALL (SELECT sal FROM emp WHERE deptno = 10) 替换为:
        NOT (x = ANY (SELECT sal FROM emp WHERE deptno = 10))
        接下来优化器会把第二个表达式适用ANY表达式的转换规则转换为下面的表达式:
        NOT EXISTS (SELECT sal FROM emp WHERE deptno = 10 AND x <= sal)
    ~~BETWEEN 操作符优化:
        优化器总是用>=<=比较符来等价的代替BETWEEN操作符。
        例如:优化器会把表达式sal BETWEEN 2000 AND 3000sal >= 2000 AND sal <= 3000来代替。
    ~~NOT 操作符优化:
        优化器总是试图简化检索条件以消除NOT逻辑操作符的影响,这将涉及到NOT操作符的消除以及代以相应的比较运算符。
        例如,优化器将下面的第一条语句用第二条语句代替:
        NOT deptno = (SELECT deptno FROM emp WHERE ename = 'TAYLOR')
        deptno <> (SELECT deptno FROM emp WHERE ename = 'TAYLOR')
        通常情况下一个含有NOT操作符的语句有很多不同的写法,优化器的转换原则是使NOT操作符后边的子句尽可能的简单,即使可能会使结果表达式包含了更多的NOT操作符。
        例如,优化器将如下所示的第一条语句用第二条语句代替:
        NOT (sal <1000 OR comm IS NULL)
        NOT sal <1000 AND comm IS NOT NULL sal >= 1000 AND comm IS NOT NULL

     

    SQL 优化34条建议

    (1)  选择最有效率的表名顺序(只在基于规则的优化器中有效)
    ORACLE 的解析器按照从右到左的顺序处理FROM子句中的表名,FROM子句中写在最后的表(基础表 driving table)将被最先处理,在FROM子句中包含多个表的情况下,你必须选择记录条数最少的表作为基础表。如果有3个以上的表连接查询那就需要选择交叉表(intersection table)作为基础表交叉表是指那个被其他表所引用的表.
    (2)   WHERE子句中的连接顺序:
    ORACLE采用自下而上的顺序解析WHERE子句,根据这个原理,表之间的连接必须写在其他WHERE条件之前那些可以过滤掉最大数量记录的条件必须写在WHERE子句的末尾.
    (3)   SELECT子句中避免使用 ‘ 
    ORACLE在解析的过程中会将'*' 依次转换成所有的列名这个工作是通过查询数据字典完成的这意味着将耗费更多的时间
    (4)  减少访问数据库的次数:
    ORACLE在内部执行了许多工作解析SQL语句估算索引的利用率绑定变量 读数据块等;
    (5)  SQL*Plus , SQL*FormsPro*C中重新设置ARRAYSIZE参数可以增加每次数据库访问的检索数据量 ,建议值为200
    (6)  使用DECODE函数来减少处理时间:
    使用DECODE函数可以避免重复扫描相同记录或重复连接相同的表.
    (7)  整合简单,无关联的数据库访问:
    如果你有几个简单的数据库查询语句,你可以把它们整合到一个查询中(即使它们之间没有关系)
    (8)  删除重复记录:
    最高效的删除重复记录方法 因为使用了ROWID)例子:
    DELETE  FROM  EMP E  WHERE  E.ROWID > (SELECT MIN(X.ROWID)
    FROM  EMP X  WHERE  X.EMP_NO = E.EMP_NO);
    (9)  TRUNCATE替代DELETE
    当删除表中的记录时,在通常情况下回滚段(rollback segments ) 用来存放可以被恢复的信息如果你没有COMMIT事务,ORACLE会将数据恢复到删除之前的状态(准确地说是恢复到执行删除命令之前的状况而当运用TRUNCATE回滚段不再存放任何可被恢复的信息.当命令运行后,数据不能被恢复.因此很少的资源被调用,执行时间也会很短. (译者按: TRUNCATE只在删除全表适用,TRUNCATEDDL不是DML)
    (10)尽量多使用COMMIT
    只要有可能,在程序中尽量多使用COMMIT, 这样程序的性能得到提高,需求也会因为COMMIT所释放的资源而减少:
    COMMIT所释放的资源:
    a. 回滚段上用于恢复数据的信息.
    b. 被程序语句获得的锁
    c. redo log buffer 中的空间
    d. ORACLE为管理上述3种资源中的内部花费
    (11)Where子句替换HAVING子句:
    避免使用HAVING子句, HAVING 只会在检索出所有记录之后才对结果集进行过滤这个处理需要排序,总计等操作如果能通过WHERE子句限制记录的数目,那就能减少这方面的开销. (oracle)onwherehaving这三个都可以加条件的子句中,on是最先执行,where次之,having最后,因为on是先把不符合条件的记录过滤后才进行统计,它就可以减少中间运算要处理的数据,按理说应该速度是最快的,where也应该比having快点的,因为它过滤数据后才进行sum,在两个表联接时才用on的,所以在一个表的时候,就剩下wherehaving比较了。在这单表查询统计的情况下,如果要过滤的条件没有涉及到要计算字段,那它们的结果是一样的,只是where可以使用rushmore技术,而having就不能,在速度上后者要慢如果要涉及到计算的字段,就表示在没计算之前,这个字段的值是不确定的,根据上篇写的工作流程,where的作用时间是在计算之前就完成的,而having就是在计算后才起作用的,所以在这种情况下,两者的结果会不同。在多表联接查询时,onwhere更早起作用。系统首先根据各个表之间的联接条件,把多个表合成一个临时表后,再由where进行过滤,然后再计算,计算完后再由having进行过滤。由此可见,要想过滤条件起到正确的作用,首先要明白这个条件应该在什么时候起作用,然后再决定放在那里
    (12)减少对表的查询:
    在含有子查询的SQL语句中,要特别注意减少对表的查询.例子:
        SELECT  TAB_NAME FROM TABLES WHERE (TAB_NAME,DB_VER) = ( SELECT
    TAB_NAME,DB_VER FROM  TAB_COLUMNS  WHERE  VERSION = 604)
    (13)通过内部函数提高SQL效率:
    复杂的SQL往往牺牲了执行效率能够掌握上面的运用函数解决问题的方法在实际工作中是非常有意义的
    (14)使用表的别名(Alias)
    当在SQL语句中连接多个表时请使用表的别名并把别名前缀于每个Column.这样一来,就可以减少解析的时间并减少那些由Column歧义引起的语法错误.
    (15)EXISTS替代IN、用NOT EXISTS替代NOT IN
    在许多基于基础表的查询中,为了满足一个条件,往往需要对另一个表进行联接.在这种情况下使用EXISTS(NOT EXISTS)通常将提高查询的效率在子查询中,NOT IN子句将执行一个内部的排序和合并无论在哪种情况下,NOT IN都是最低效的 (因为它对子查询中的表执行了一个全表遍历). 为了避免使用NOT IN ,我们可以把它改写成外连接(Outer Joins)NOT EXISTS.
    例子:
    (高效)SELECT * FROM  EMP (基础表)  WHERE  EMPNO > 0  AND  EXISTS (SELECT X'  FROM DEPT  WHERE  DEPT.DEPTNO = EMP.DEPTNO  AND  LOC = MELB')
    (低效)SELECT  * FROM  EMP (基础表)  WHERE  EMPNO > 0  AND  DEPTNO IN(SELECT DEPTNO  FROM  DEPT  WHERE  LOC = MELB')
    (16)识别'低效执行'SQL语句:
    虽然目前各种关于SQL优化的图形化工具层出不穷,但是写出自己的SQL工具来解决问题始终是一个最好的方法:
    SELECT  EXECUTIONS , DISK_READS, BUFFER_GETS,
    ROUND((BUFFER_GETS-DISK_READS)/BUFFER_GETS,2) Hit_radio,
    ROUND(DISK_READS/EXECUTIONS,2) Reads_per_run,
    SQL_TEXT
    FROM  V$SQLAREA
    WHERE  EXECUTIONS>0
    AND  BUFFER_GETS > 0
    AND  (BUFFER_GETS-DISK_READS)/BUFFER_GETS < 0.8
    ORDER BY  4 DESC;
    (17)用索引提高效率:
    索引是表的一个概念部分,用来提高检索数据的效率,ORACLE使用了一个复杂的自平衡B-tree结构通常,通过索引查询数据比全表扫描要快ORACLE找出执行查询和Update语句的最佳路径时, ORACLE优化器将使用索引同样在联结多个表时使用索引也可以提高效率另一个使用索引的好处是,它提供了主键(primary key)的唯一性验证.。那些LONGLONG RAW数据类型你可以索引几乎所有的列通常在大型表中使用索引特别有效当然,你也会发现在扫描小表时,使用索引同样能提高效率虽然使用索引能得到查询效率的提高,但是我们也必须注意到它的代价索引需要空间来存储,也需要定期维护每当有记录在表中增减或索引列被修改时索引本身也会被修改这意味着每条记录的INSERT , DELETE , UPDATE将为此多付出4 , 5 次的磁盘I/O . 因为索引需要额外的存储空间和处理,那些不必要的索引反而会使查询反应时间变慢.。定期的重构索引是有必要的.
    ALTER  INDEX <INDEXNAME> REBUILD <TABLESPACENAME>
    18)EXISTS替换DISTINCT
    当提交一个包含一对多表信息(比如部门表和雇员表)的查询时,避免在SELECT子句中使用DISTINCT. 一般可以考虑用EXIST替换, EXISTS 使查询更为迅速,因为RDBMS核心模块将在子查询的条件一旦满足后,立刻返回结果例子:
          (低效):
    SELECT  DISTINCT  DEPT_NO,DEPT_NAME  FROM  DEPT D , EMP E
    WHERE  D.DEPT_NO = E.DEPT_NO
    (高效):
    SELECT  DEPT_NO,DEPT_NAME  FROM  DEPT D  WHERE  EXISTS ( SELECT X'
    FROM  EMP E  WHERE E.DEPT_NO = D.DEPT_NO);
    (19) sql语句用大写的:
    因为oracle总是先解析sql语句,把小写的字母转换成大写的再执行
    (20)java代码中尽量少用连接符连接字符串!
    (21) 避免在索引列上使用NOT
    我们要避免在索引列上使用NOT, NOT会产生在和在索引列上使用函数相同的影响ORACLE遇到NOT,他就会停止使用索引转而执行全表扫描.
    (22)避免在索引列上使用计算.
    WHERE子句中,如果索引列是函数的一部分.优化器将不使用索引而使用全表扫描.
    举例:
    低效:
    SELECT … FROM  DEPT  WHERE SAL * 12 > 25000;
    高效:
    SELECT … FROM DEPT WHERE SAL > 25000/12;
    (23)>=替代>
    高效:
    SELECT * FROM  EMP  WHERE  DEPTNO >=4
    低效:
    SELECT * FROM EMP WHERE DEPTNO >3
    两者的区别在于前者DBMS将直接跳到第一个DEPT等于4的记录而后者将首先定位到DEPTNO=3的记录并且向前扫描到第一个DEPT大于3的记录.
    (24)UNION替换OR (适用于索引列)
    通常情况下UNION替换WHERE子句中的OR将会起到较好的效果对索引列使用OR将造成全表扫描注意以上规则只针对多个索引列有效如果有column没有被索引查询效率可能会因为你没有选择OR而降低在下面的例子中, LOC_ID REGION上都建有索引.
    高效:
    SELECT LOC_ID , LOC_DESC , REGION
    FROM LOCATION
    WHERE LOC_ID = 10
    UNION
    SELECT LOC_ID , LOC_DESC , REGION
    FROM LOCATION
    WHERE REGION = MELBOURNE
    低效:
    SELECT LOC_ID , LOC_DESC , REGION
    FROM LOCATION
    WHERE LOC_ID = 10 OR REGION = MELBOURNE
    如果你坚持要用OR, 那就需要返回记录最少的索引列写在最前面.
    (25)IN来替换OR  
    这是一条简单易记的规则,但是实际的执行效果还须检验,在ORACLE8i下,两者的执行路径似乎是相同的. 
    低效:
    SELECT. FROM LOCATION WHERE LOC_ID = 10 OR LOC_ID = 20 OR LOC_ID = 30
    高效
    SELECT… FROM LOCATION WHERE LOC_IN  IN (10,20,30);
    (26)避免在索引列上使用IS NULLIS NOT NULL
    避免在索引中使用任何可以为空的列,ORACLE将无法使用该索引.对于单列索引,如果列包含空值,索引中将不存在此记录对于复合索引,如果每个列都为空,索引中同样不存在此记录. 如果至少有一个列不为空,则记录存在于索引中.举例如果唯一性索引建立在表的A列和B列上并且表中存在一条记录的A,B值为(123,null) , ORACLE将不接受下一条具有相同A,B(123,null)的记录(插入). 然而如果所有的索引列都为空,ORACLE将认为整个键值为空而空不等于空因此你可以插入1000 条具有相同键值的记录,当然它们都是空因为空值不存在于索引列中,所以WHERE子句中对索引列进行空值比较将使ORACLE停用该索引.
    低效: (索引失效)
    SELECT … FROM  DEPARTMENT  WHERE  DEPT_CODE IS NOT NULL;
    高效: (索引有效)
    SELECT … FROM  DEPARTMENT  WHERE  DEPT_CODE >=0;
    (27)总是使用索引的第一个列:
    如果索引是建立在多个列上只有在它的第一个列(leading column)where子句引用时,优化器才会选择使用该索引这也是一条简单而重要的规则,当仅引用索引的第二个列时,优化器使用了全表扫描而忽略了索引
    28)UNION-ALL 替换UNION ( 如果有可能的话)
    SQL 语句需要UNION两个查询结果集合时,这两个结果集合会以UNION-ALL的方式被合并然后在输出最终结果前进行排序如果用UNION ALL替代UNION, 这样排序就不是必要了效率就会因此得到提高需要注意的是,UNION ALL 将重复输出两个结果集合中相同记录因此各位还是要从业务需求分析使用UNION ALL的可行性. UNION 将对结果集合排序,这个操作会使用到SORT_AREA_SIZE这块内存对于这块内存的优化也是相当重要的下面的SQL可以用来查询排序的消耗量
    低效:
    SELECT  ACCT_NUM, BALANCE_AMT
    FROM  DEBIT_TRANSACTIONS
    WHERE TRAN_DATE = '31-DEC-95'
    UNION
    SELECT ACCT_NUM, BALANCE_AMT
    FROM DEBIT_TRANSACTIONS
    WHERE TRAN_DATE = '31-DEC-95'
    高效:
    SELECT ACCT_NUM, BALANCE_AMT
    FROM DEBIT_TRANSACTIONS
    WHERE TRAN_DATE = '31-DEC-95'
    UNION ALL
    SELECT ACCT_NUM, BALANCE_AMT
    FROM DEBIT_TRANSACTIONS
    WHERE TRAN_DATE = '31-DEC-95'
    (29)WHERE替代ORDER BY
    ORDER BY 子句只在两种严格的条件下使用索引.
    ORDER BY中所有的列必须包含在相同的索引中并保持在索引中的排列顺序.
    ORDER BY中所有的列必须定义为非空.
    WHERE子句使用的索引和ORDER BY子句中所使用的索引不能并列.
    例如:
    DEPT包含以下列:
    DEPT_CODE PK NOT NULL
    DEPT_DESC NOT NULL
    DEPT_TYPE NULL
    低效: (索引不被使用)
    SELECT DEPT_CODE FROM  DEPT  ORDER BY  DEPT_TYPE
    高效: (使用索引)
    SELECT DEPT_CODE  FROM  DEPT  WHERE  DEPT_TYPE > 0
    (30)避免改变索引列的类型:
    当比较不同数据类型的数据时, ORACLE自动对列进行简单的类型转换.
    假设 EMPNO是一个数值类型的索引列.
    SELECT …  FROM EMP  WHERE  EMPNO = 123'
    实际上,经过ORACLE类型转换语句转化为:
    SELECT …  FROM EMP  WHERE  EMPNO = TO_NUMBER(123')
    幸运的是,类型转换没有发生在索引列上,索引的用途没有被改变.
    现在,假设EMP_TYPE是一个字符类型的索引列.
    SELECT …  FROM EMP  WHERE EMP_TYPE = 123
    这个语句被ORACLE转换为:
    SELECT …  FROM EMP  WHERETO_NUMBER(EMP_TYPE)=123
    因为内部发生的类型转换这个索引将不会被用到为了避免ORACLE对你的SQL进行隐式的类型转换最好把类型转换用显式表现出来注意当字符和数值比较时, ORACLE会优先转换数值类型到字符类型
    (31)需要当心的WHERE子句:
    某些SELECT 语句中的WHERE子句不使用索引这里有一些例子.
    在下面的例子里,
    (1)!=' 将不使用索引记住索引只能告诉你什么存在于表中而不能告诉你什么不存在于表中.
    (2) ||'是字符连接函数就象其他函数那样停用了索引.
    (3) +'是数学函数就象其他数学函数那样停用了索引.
    (4)相同的索引列不能互相比较,这将会启用全表扫描.

    (32)
    a. 如果检索数据量超过30%的表中记录数.使用索引将没有显著的效率提高.
    b. 在特定情况下使用索引也许会比全表扫描慢但这是同一个数量级上的区别而通常情况下,使用索引比全表扫描要块几倍乃至几千倍!
    (33)避免使用耗费资源的操作:
    带有DISTINCT,UNION,MINUS,INTERSECT,ORDER BYSQL语句会启动SQL引擎
    执行耗费资源的排序(SORT)功能. DISTINCT需要一次排序操作而其他的至少需要执行两次排序通常带有UNION, MINUS , INTERSECTSQL语句都可以用其他方式重写如果你的数据库的SORT_AREA_SIZE调配得好使用UNION , MINUS, INTERSECT也是可以考虑的毕竟它们的可读性很强
    (34)优化GROUP BY:
    提高GROUP BY 语句的效率可以通过将不需要的记录在GROUP BY 之前过滤掉.下面两个查询返回相同结果但第二个明显就快了许多.
    低效:
    SELECT JOB , AVG(SAL)
    FROM EMP
    GROUP by JOB
    HAVING JOB = PRESIDENT'
    OR JOB = MANAGER'
    高效:
    SELECT JOB , AVG(SAL)
    FROM EMP
    WHERE JOB = PRESIDENT'
    OR JOB = MANAGER'
    GROUP by JOB 

     

    展开全文
  • Hive中SQL的优化技巧

    千次阅读 2015-12-22 17:12:42
    Hive中SQL的优化技巧,核心思想是避免数据倾斜。

    Hive中SQL的优化技巧,核心思想是避免数据倾斜。


    1、避免在同一个查询中同时出现count, distinct,group by

    2、left join 时把小数据量的表放在前面

    3、尽量使用子查询


    参数配置

    SET mapred.reduce.tasks=50;
    SET mapreduce.reduce.memory.mb=6000;
    SET mapreduce.reduce.shuffle.memory.limit.percent=0.06;

    涉及数据倾斜的话,主要是reduce中数据倾斜的问题,可能通过设置hive中reduce的并行数,reduce的内存大小单位为m,reduce中 shuffle的刷磁盘的比例,来解决。


    实例一

    --分月
    select substr(a.day,1,6)month,count(distinct a.userid)  
    from dms.tracklog_5min a  
    join default.site_activeuser_tmp c
    on a.userid=c.id
    where a.day>='201505' and a.day<'201506'
    group by substr(a.day,1,6) ;
    
    
    --优化后
    select '201505',count(*) from 
    (
    select distinct c.userid
    from 
    (select userid   from default.site_activeuser_tmp where month='201505') c
    left join
    (
    select userid  from
    dms.tracklog_5min 
    where day>='201505' and day<'201506'  
    ) tmp 
    on tmp.userid=c.userid
    ) t;
    


    实例二

    --分事业部
    select substr(a.day,1,6)month,count(distinct a.userid) ,b.dept_name 
    from dms.tracklog_5min a join   default.d_channel b
    on a.host=b.host  
    join default.site_activeuser_tmp c
    on a.userid=c.id
    where a.day>='201505' and a.day<'201506'
    group by substr(a.day,1,6),b.dept_name;
    
    --优化后
    SET mapred.reduce.tasks=50;
    SET mapreduce.reduce.memory.mb=6000;
    SET mapreduce.reduce.shuffle.memory.limit.percent=0.06;
    
    select "201505" month,count(t.userid),t.dept_name 
    from 
    (select userid from default.site_activeuser_tmp where month='201505') c
    left join
    (
    select distinct a.userid userid,b.dept_name dept_name from default.d_channel b
    left join 
    (select host,userid from dms.tracklog_5min where day>='201505' and day<'201506' ) a
    on a.host=b.host  
    )t
    on t.userid=c.userid
    group by t.dept_name ;


    实例三

    --分产品
    select substr(a.day,1,6)month,count(distinct a.userid) ,b.dept_name,b.prod_name 
    from dms.tracklog_5min a join   default.d_channel b
    on a.host=b.host  
    join default.site_activeuser_tmp c
    on a.userid=c.id
    where a.day>='201505' and a.day<'201506'
    group by substr(a.day,1,6),b.dept_name,b.prod_name;
    
    
    --优化后
    select "201505" month,count(t.userid) cnt,t.dept_name dept_name,t.prod_name prod_name
    from 
    (select userid from default.site_activeuser_tmp where month='201505') c
    left join
    (
    select distinct a.userid userid,b.dept_name dept_name,b.prod_name prod_name from default.d_channel b
    left join 
    (select host,userid from dms.tracklog_5min where day>='201505' and day<'201506' ) a
    on a.host=b.host  
    )t
    on t.userid=c.userid
    group by t.prod_name,t.dept_name ;


    展开全文
  • oracle sql的优化方法概述

    千次阅读 2013-10-09 14:37:36
    sql的优化方法概述 在很多人眼里,SQL优化就是走索引,就是用走索引来取代全表扫描。实际上这种认识是非常肤浅的。尽管大部分SQL优化的问题都可以通过增加或者减少索引的方式来解决,但这绝不是全部”! ...
    
    

    在很多人眼里,SQL优化就是走索引,就是用走索引来取代全表扫描。实际上这种认识是非常肤浅的。尽管大部分SQL优化的问题都可以通过增加或者减少索引的方式来解决,但这绝不是全部”!

    Oracle SQL优化方法论

      据崔华老师介绍,Oracle数据库里SQL优化的终极目标就是要缩短目标SQL语句执行时间。要达到上述目的,我们通常只有如下三种方法可以选择:

      降低目标SQL语句的资源消耗;

      并行目标SQL语句;

      平衡系统的资源消耗。

      针对以上三种方法,崔华老师分别作出了详细的阐述。崔华老师认为,“方法1:降低目标SQL语句的资源消耗”以缩短执行时间,这是最常用的SQL优化方法。


      这种方法的核心是要么通过在不更改业务逻辑的情况下改写SQL来降低目标SQL语句的资源消耗,要么不改SQL但通过调整执行计划或相关表的数据来降低目标SQL语句的资源消耗。

    SQL优化的方法论(二)
    避免不必要的全表扫描

      方法1所涉及到的这两种优化手段在Oracle数据库中能否奏效以及效果的好坏与否很大程度上取决于对CBO和执行计划的理解程度,对CBO和执行计划理解的越深,这两种优化手段的应用就会越纯熟,效果就会越好。

      方法1也正是崔华老师新书中所要提出的Oracle数据库里SQL优化方法论的第一点:Oracle里SQL优化的本质是基于对CBO和执行计划的深刻理解。

    SQL优化的方法论(二)
    实例代码

      “方法2:并行执行目标SQL语句”,这实际上是以额外的资源消耗来换取执行时间的缩短,很多情况下使用并行是针对某些SQL的唯一优化手段。

      “方法3:平衡系统的资源消耗” 可以避免不必要的资源争用所导致的目标SQL语句执行时间的增长。

      其实从以上内容我们不难总结出,崔华老师所讲的针对Oracle数据库SQL优化的主要在于,对CBO和执行计划的深刻理解,以及做SQL优化不能脱离实际的业务。

    展开全文
  • 常用SQL的优化

    千次阅读 2018-10-24 17:55:01
    load、insert、order by、group by、子查询、or子句等SQL语句的优化对策

    本文介绍insert、group by、order by等常用sql的优化。

    一、大批量插入数据

    对于MyISAM表,大批量插入数据时,可以先通过alter table tb_name disable keys;命令关闭非唯一索引的更新,然后用load data命令导入数据,最后alter table tb_name enable keys;打开非唯一索引的更新。
    对于InnoDB表,大批量插入数据(load)的优化方法有以下几种:

    1. 因为InnoDB类型的表是按照主键的顺序保存的,所以将导入的数据按照主键的顺序排列,可以有效提高导入数据的效率。
    2. 在导入数据前,执行set unique checks=0,关闭唯一性校验,在导入数据结束后再执行set unique checks=1,恢复唯一性校验。
    3. 如果应用使用的是自动提交的方式,可以在导入前执行set autocommit=0,关闭自动提交,导入结束后再执行set autocommit=1,打开自动提交。

    二、优化insert语句

    当进行数据insert的时候,有以下几种优化方式:

    1. 如果同一客户要插入多行数据,应尽量使用多个值表的插入语句。避免多条insert语句。这样可以大大缩减客户端与数据库之间的连接。
    2. 如果从不同客户插入很多行数据,可以通过insert delayed语句得到更高的速度。该语句的含义是让insert语句马上执行。
    3. 将索引文件和数据文件分在不同的磁盘上存放。
    4. 当从一个文本文件装在一个表时,使用load data infile 比使用insert语句快得多。

    三、优化order by语句

    MySQL的排序方式有两种:

    • 通过索引顺序扫描直接返回有序数据,这种方式在explain分析查询的时候extra字段显示Using index
    • 通过对返回数据进行排序,这种方式在explain分析查询的时候extra字段显示Using filesort

    filesort是通过响应的算法,将取得的数据在sort_buffer_size系统变量设置的内存排序区中进行排序。Using index方式比Using filesort效率要高得多。所以对order by语句的优化就是尽量减少Filesort排序,通过索引直接返回有序数据,具体做法有是: where 条件和order by使用相同的索引,并且order by的顺序和索引顺序相同,order by字段都是升序或者都是降序。
    有时Filesort排序无法避免,此时可以尽量只使用必要的字段,select具体的字段名称,而不是select * 选择所有字段,这样可以减少排序区的使用,提高SQL性能。

    四、优化group by 语句

    MySQL默认对所有group by col1,col2,...字段进行排序。如果查询包括group by,但用户想要避免排序的性能消耗,可以在group by子句后面加上order by null子句禁止排序。

    五、优化子查询

    使用子查询的好处:使用子查询可以一次完成逻辑上需要很多步骤的sql操作,同时可以避免事务或者表锁死。
    但是子查询的效率不如连接查询(join)快,原因是连接查询MySQL不需要在内存中创建临时表来完成逻辑上需要两个步骤的查询工作。
    所以当子查询和连接查询都能达到查询目地时,如果注重效率,则优先选择连接查询。

    六、优化 or 条件

    对于含有or的查询子句,如果使用索引,则or子句的每个条件都要使用索引,如果没有索引,则应该考虑增加索引。

    七、优化limit子句

    有些分页查询场景效率很差,比如limit 10000,20,此时MySQL对10020条记录做了排序,但只需要返回20条记录,前面10000条记录的排序没有价值。
    对于limit子句的优化思路是:先对索引分页然后回表查询。
    代码示例(updated列建了索引):

    mysql> explain select id,title from tb_item order by updated limit 1000,20 \G;
    *************************** 1. row ***************************
               id: 1
      select_type: SIMPLE
            table: tb_item
             type: ALL
    possible_keys: NULL
              key: NULL
          key_len: NULL
              ref: NULL
             rows: 3083
            Extra: Using filesort
    1 row in set (0.00 sec)
    

    可以看出常规方式优化器做了全表扫描,效率不高,

    mysql> explain select a.id,a.title from tb_item a inner join
        -> (select id from tb_item order by updated limit 1000,20) b on a.id=b.id \G;
    *************************** 1. row ***************************
               id: 1
      select_type: PRIMARY
            table: <derived2>
             type: ALL
    possible_keys: NULL
              key: NULL
          key_len: NULL
              ref: NULL
             rows: 1020
            Extra: NULL
    *************************** 2. row ***************************
               id: 1
      select_type: PRIMARY
            table: a
             type: eq_ref
    possible_keys: PRIMARY
              key: PRIMARY
          key_len: 8
              ref: b.id
             rows: 1
            Extra: NULL
    *************************** 3. row ***************************
               id: 2
      select_type: DERIVED
            table: tb_item
             type: index
    possible_keys: NULL
              key: updated
          key_len: 5
              ref: NULL
             rows: 3083
            Extra: Using index
    3 rows in set (0.00 sec)
    

    按照索引分页后回表查询方式改写SQL后,已经看不到全表扫描了 。

    八、使用SQL提示

    SQL提示(SQL HINT)是优化数据库的一个重要手段,简单来说就是在SQL语句中加入一些提示来达到优化的目的。

    1、use index

    use index提示可以让MySQL参考用户提供的索引列表,不去考虑其他可用的索引。

    mysql> explain select count(*) from demo use index (city) \G;
    *************************** 1. row ***************************
               id: 1
      select_type: SIMPLE
            table: demo
             type: index
    possible_keys: NULL
              key: city
          key_len: 153
              ref: NULL
             rows: 10
            Extra: Using index
    1 row in set (0.00 sec)
    

    可以看出使用了用户指定的索引city。

    2、ignore index

    ignore index提示让MySQL忽略一个或多个索引。

    mysql> explain select count(*) from demo ignore index (city) \G;
    *************************** 1. row ***************************
               id: 1
      select_type: SIMPLE
            table: demo
             type: index
    possible_keys: NULL
              key: member
          key_len: 96
              ref: NULL
             rows: 10
            Extra: Using index
    1 row in set (0.00 sec)
    

    可以看出忽略了索引city,而使用了索引member。

    3、force index

    force index提示让MySQL强制使用指定的索引。

    mysql> explain select count(*) from demo force index (city) \G;
    *************************** 1. row ***************************
               id: 1
      select_type: SIMPLE
            table: demo
             type: index
    possible_keys: NULL
              key: city
          key_len: 153
              ref: NULL
             rows: 10
            Extra: Using index
    1 row in set (0.00 sec)
    

    可以看出使用了用户指定的索引city。

    展开全文
  • 记录一条113行的sql的优化历程,涉及到force index,limit优化,倒叙索引,执行计划等方面
  • sql优化的几种方式

    万次阅读 多人点赞 2018-11-05 10:20:46
    而开发和运维人员也无法判断SQL对程序的运行效率有多大,故很少针对SQL进行专门的优化,而随着时间的积累,业务数据量的增多,SQL的执行效率对程序的运行效率的影响逐渐增大,此时对SQL的优化就很有必要。...
  • SQL的优化和技巧

    千次阅读 2018-07-14 17:35:22
    通过以下方法加载驱动类:通过以下方法建立连接:创建执行SQL的语句:数据库操作模板代码:-----创建----查询:-----更新----删除SQL注入问题修改statement为PrepareStatement():数据库对应基本数据类型:事务属性:...
  • select a.uid,a.event_type,b.record_data from calendar_record_log a left outer join ( select uid,event_type from calendar_record_log_2 where pt_date = 20190228 ) b on a.uid = b.uid and b.event_...
  • 数据库sql的优化问题的面试题

    千次阅读 2018-04-16 17:48:40
    想一下这个道面试题怎么做有一张user表有1000万条数据,请为下面的sql提供优化建议?字段分别为: 主键id,用户id,姓名,性别select * from user where 姓名 like '%张%' order by 主键id limit 0,100提示:一张表...
  • 记一次Spark SQL的优化

    千次阅读 2019-07-13 00:50:22
    本位分析了线上Spark SQL任务执行慢原因,并介绍了Distribute By、Cluster By、Broadcast等优化方法原理与使用方式。
  • SQL文本如下:select a.minute, IF(20 = 10, IFNULL(b.request_second, 0), IF(20 = 20, IFNULL(ROUND((b.traffic_rcvd_second / 1024), 2), 0), IFNULL(ROUND((b.traff...
  • 在数据库中某个表中有几百万条数据,现在要用这张表关联别表去查询,查询速度很慢,如何优化才能使查询速度快一些。
  • mysql大表更新sql的优化策略

    万次阅读 2013-12-19 21:38:42
    问题sql背景:项目有6个表要根据pid字段要写入对应brand_id字段。但是这个其中有两个表是千万级别。我worker运行之后,线上mysql主从同步立刻延迟了!运行了一个多小时之后,居然延迟到了40分钟,而且只...
  • 说明:该笔记来自高性能可扩展MySQL数据库架构设计与优化,自行整理。 一、项目说明:该笔记背景为电商平台项目,电商项目由于其高并发、多线程、高耗能等特性,在众多项目类型中涉及技术面最广,故以此为例...
  • Oracle SQL的优化规则

    千次阅读 2010-09-01 18:53:00
    【一】尽量少用IN操作符,基本上所有的IN操作符都可以用EXISTS代替  用IN写出来的SQL的优点是比较容易写及清晰易懂,但是用IN的SQL性能总是比较低的,从ORACLE执行的步骤来分析用IN的SQL与不用IN的SQL...
  • SQL的优化与监视(SQL Server Profiler)

    千次阅读 2013-07-03 11:36:01
    ... SQL Server 提供 SQL 跟踪和事件通知来监视数据库引擎中发生事件。  通过记录指定事件,SQL 跟踪可以帮助您解决性能问题、审核数据库活动、收集用于测试环境示例数据、调试 Transa

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 67,929
精华内容 27,171
关键字:

sql的优化