精华内容
下载资源
问答
  • 如何优化长SQL

    2017-06-26 18:49:19
    [html] view plain copy 通常数据库中较长的sql多的join,union,and ,where等 这样的执行效率是非常低的,所以在有些时候,我们在面试...可能会被问到如何优化长的sql



    1. 通常数据库中较长的sql,很多的join,union,and ,where等

    2. 这样的执行效率是非常低的,所以在有些时候,我们在面试的时候,

    3. 可能会被问到如何优化较长的sql

    4. 其实我也是小白一个,只是最近考核的时候,被问到这个问题,然后和大神一块回家的路上涉及到了这个问题,

    5. 感觉收获颇多,所以,激动的跑上来分享给你们。

    6. 思想: 

    7. 非常直观的想法就是将较为长的sql,拆分成多个短sql,进行执行,然后将短sql查询到的结果集,

    8. 通过借助实体entity,来实现短结果集的融合成最终的结果集

    9. 或者有时候,较为复杂的sql(order by,group by)可以使用代码拼接sql,来提升sql执行效率

    展开全文
  • mysql 慢日志对系统性能影响和作用,并说明怎么去定位慢sql,并根据日志相关特性得出相应的优化思路慢日志带来直接性能损耗就是数据库系统中最为昂贵I/O资源。对于mysql 数据库来说,I/O 出现瓶颈,会导致...

    mysql 的慢日志对系统性能的影响和作用,并说明怎么去定位慢sql,并根据日志的相关特性得出相应的优化思路

    慢日志带来的直接性能损耗就是数据库系统中最为昂贵的I/O资源。对于mysql 数据库来说,I/O 出现瓶颈,会导致

    连接数增大、锁表、更有可能导致业务访问失败,尤其是在高并发下面。开启慢查询的目的是分析慢sql 来优化sql

    语句,从而解决慢sql引起的各种问题。

    1.开启慢查询日志功能很简单,在my.cnf 配置文件中,加入以下参数:

    slow_query_log=1  #启用慢查询

    slow_query_log_file=mysql.slow  #慢查询的存储位置

    long_query_time=2  #指定慢查询的记录时间比如这里大于2s sql 会记录下来

    2.当数据库的连接数很高时,此时注意,可通过监控软件观察时间点,然后把这一时间点的日志截取出来分析

    sed -n '/#Time:130227 14:26:45/,/end/p' mysql.slow >slow.log

    3.通过mysqldumpslow 命令取出耗时最长的前10条慢sql 进行分析

    #mysqldumpslow -s t -t 10 slow.log

    展开全文
  • 在应用的的开发过程中,由于初期数据量小,开发人员写 SQL 语句时更重视功能上实现,但是当应用系统正式上线后,随着生产数据量急剧增长,SQL 语句开始逐渐显露出性能问题,对生产影响也越来越大,此时...

    在应用的的开发过程中,由于初期数据量小,开发人员写 SQL 语句时更重视功能上的实现,但是当应用系统正式上线后,随着生产数据量的急剧增长,很多 SQL 语句开始逐渐显露出性能问题,对生产的影响也越来越大,此时这些有问题的 SQL 语句就成为整个系统性能的瓶颈,因此我们必须要对它们进行优化,本章将详细介绍在 MySQL 中优化 SQL 语句的方法。

    当面对一个有 SQL 性能问题的数据库时,我们应该从何处入手来进行系统的分析,使得能够尽快定位问题 SQL 并尽快解决问题。

    一、查看sql的执行频率

    MySQL 客户端连接成功后,通过 show [session|global] status 命令可以提供服务器状态信息。show [session|global] status 可以根据需要加上参数“session”或者“global”来显示 session 级(当前连接)的计结果和 global 级(自数据库上次启动至今)的统计结果。如果不写,默认使用参数是“session”。

    下面的命令显示了当前 session 中所有统计参数的值:

    show status like 'Com_______';
    

    在这里插入图片描述

    在这里插入图片描述
    Com_xxx 表示每个 xxx 语句执行的次数,我们通常比较关心的是以下几个统计参数。

    参数 含义
    Com_select 执行 select 操作的次数,一次查询只累加 1。
    Com_insert 执行 INSERT 操作的次数,对于批量插入的 INSERT 操作,只累加一次。
    Com_update 执行 UPDATE 操作的次数。
    Com_delete 执行 DELETE 操作的次数。
    Innodb_rows_read select 查询返回的行数。
    Innodb_rows_inserted 执行 INSERT 操作插入的行数。
    Innodb_rows_updated 执行 UPDATE 操作更新的行数。
    Innodb_rows_deleted 执行 DELETE 操作删除的行数。
    Connections 试图连接 MySQL 服务器的次数。
    Uptime 服务器工作时间。
    Slow_queries 慢查询的次数。

    Com_*** : 这些参数对于所有存储引擎的表操作都会进行累计。

    Innodb_*** : 这几个参数只是针对InnoDB 存储引擎的,累加的算法也略有不同。

    二、定位低效率的sql

    可以通过以下两种方式定位执行效率较低的 SQL 语句。

    • 慢查询日志 : 通过慢查询日志定位那些执行效率较低的 SQL 语句,用–log-slow-queries[=file_name]选项启动时,mysqld 写一个包含所有执行时间超过 long_query_time 秒的 SQL 语句的日志文件。具体可以查看本书第 26 章中日志管理的相关部分。
    • show processlist : 慢查询日志在查询结束以后才纪录,所以在应用反映执行效率出现问题的时候查询慢查询日志并不能定位问题,可以使用show processlist命令查看当前MySQL在进行的线程,包括线程的状态、是否锁表等,可以实时地查看 SQL 的执行情况,同时对一些锁表操作进行优化。
      在这里插入图片描述

    1) id列,用户登录mysql时,系统分配的"connection_id",可以使用函数connection_id()查看

    2) user列,显示当前用户。如果不是root,这个命令就只显示用户权限范围的sql语句

    3) host列,显示这个语句是从哪个ip的哪个端口上发的,可以用来跟踪出现问题语句的用户

    4) db列,显示这个进程目前连接的是哪个数据库

    5) command列,显示当前连接的执行的命令,一般取值为休眠(sleep),查询(query),连接(connect)等

    6) time列,显示这个状态持续的时间,单位是秒

    7) state列,显示使用当前连接的sql语句的状态,很重要的列。state描述的是语句执行中的某一个状态。一个sql语句,以查询为例,可能需要经过copying to tmp table、sorting result、sending data等状态才可以完成

    8) info列,显示这个sql语句,是判断问题语句的一个重要依据

    三、使用explain分析执行计划

    通过以上步骤查询到效率低的 SQL 语句后,可以通过 EXPLAIN或者 DESC命令获取 MySQL如何执行 SELECT 语句的信息,包括在 SELECT 语句执行过程中表如何连接和连接的顺序。
    这是一张用户表sys_user,里面有10W条数据:

     CREATE TABLE `sys_user` (
      `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '用户id',
      `name` varchar(100) CHARACTER SET utf8 DEFAULT NULL COMMENT '用户名称',
      `password` varchar(20) CHARACTER SET utf8 DEFAULT NULL COMMENT '用户密码',
      `email` varchar(255) CHARACTER SET utf8 DEFAULT NULL COMMENT '邮箱',
      `sex` tinyint(4) DEFAULT NULL COMMENT '性别0 女 1男',
      `department_id` int(11) DEFAULT NULL COMMENT '部门id',
      `role_id` int(11) DEFAULT NULL,
      PRIMARY KEY (`id`)
    ) ENGINE=InnoDB AUTO_INCREMENT=100002 DEFAULT CHARSET=utf8mb4 COMMENT='用户表';
    
    
    

    使用explain查看sql执行计划 : id是主键。

    EXPLAIN select * from   sys_user where id = 100
    

    在这里插入图片描述

    name没有做任何处理:发现执行计划是由差异的。

    EXPLAIN select * from   sys_user where name = 'admin10000'
    

    在这里插入图片描述

    字段 含义
    id select查询的序列号,是一组数字,表示的是查询中执行select子句或者是操作表的顺序。
    select_type 表示 SELECT 的类型,常见的取值有 SIMPLE(简单表,即不使用表连接或者子查询)、PRIMARY(主查询,即外层的查询)、UNION(UNION 中的第二个或者后面的查询语句)、SUBQUERY(子查询中的第一个 SELECT)等
    table 输出结果集的表
    type 表示表的连接类型,性能由好到差的连接类型为( system —> const -----> eq_ref ------> ref -------> ref_or_null----> index_merge —> index_subquery -----> range -----> index ------> all )
    possible_keys 表示查询时,可能使用的索引
    key 表示实际使用的索引
    key_len 索引字段的长度
    rows 扫描行的数量
    extra 执行情况的说明和描述

    1.环境准备

    分别创建三张表:t_role 角色表,t_user用户表,user_role用户角色关联表。

    CREATE TABLE `t_role` (
      `id` varchar(32) NOT NULL,
      `role_name` varchar(255) DEFAULT NULL,
      `role_code` varchar(255) DEFAULT NULL,
      `description` varchar(255) DEFAULT NULL,
      PRIMARY KEY (`id`),
      UNIQUE KEY `unique_role_name` (`role_name`)
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8;
    
    
    CREATE TABLE `t_user` (
      `id` varchar(32) NOT NULL,
      `username` varchar(45) NOT NULL,
      `password` varchar(96) NOT NULL,
      `name` varchar(45) NOT NULL,
      PRIMARY KEY (`id`),
      UNIQUE KEY `unique_user_username` (`username`)
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8;
    
    
    CREATE TABLE `user_role` (
      `id` int(11) NOT NULL auto_increment ,
      `user_id` varchar(32) DEFAULT NULL,
      `role_id` varchar(32) DEFAULT NULL,
      PRIMARY KEY (`id`),
      KEY `fk_ur_user_id` (`user_id`),
      KEY `fk_ur_role_id` (`role_id`),
      CONSTRAINT `fk_ur_role_id` FOREIGN KEY (`role_id`) REFERENCES `t_role` (`id`) ON DELETE NO ACTION ON UPDATE NO ACTION,
      CONSTRAINT `fk_ur_user_id` FOREIGN KEY (`user_id`) REFERENCES `t_user` (`id`) ON DELETE NO ACTION ON UPDATE NO ACTION
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8;
    
    
    
    
    insert into `t_user` (`id`, `username`, `password`, `name`) values('1','super','$2a$10$TJ4TmCdK.X4wv/tCqHW14.w70U3CC33CeVncD3SLmyMXMknstqKRe','超级管理员');
    insert into `t_user` (`id`, `username`, `password`, `name`) values('2','admin','$2a$10$TJ4TmCdK.X4wv/tCqHW14.w70U3CC33CeVncD3SLmyMXMknstqKRe','系统管理员');
    insert into `t_user` (`id`, `username`, `password`, `name`) values('3','itcast','$2a$10$8qmaHgUFUAmPR5pOuWhYWOr291WJYjHelUlYn07k5ELF8ZCrW0Cui','test02');
    insert into `t_user` (`id`, `username`, `password`, `name`) values('4','stu1','$2a$10$pLtt2KDAFpwTWLjNsmTEi.oU1yOZyIn9XkziK/y/spH5rftCpUMZa','学生1');
    insert into `t_user` (`id`, `username`, `password`, `name`) values('5','stu2','$2a$10$nxPKkYSez7uz2YQYUnwhR.z57km3yqKn3Hr/p1FR6ZKgc18u.Tvqm','学生2');
    insert into `t_user` (`id`, `username`, `password`, `name`) values('6','t1','$2a$10$TJ4TmCdK.X4wv/tCqHW14.w70U3CC33CeVncD3SLmyMXMknstqKRe','老师1');
    
    
    
    INSERT INTO `t_role` (`id`, `role_name`, `role_code`, `description`) VALUES('5','学生','student','学生');
    INSERT INTO `t_role` (`id`, `role_name`, `role_code`, `description`) VALUES('7','老师','teacher','老师');
    INSERT INTO `t_role` (`id`, `role_name`, `role_code`, `description`) VALUES('8','教学管理员','teachmanager','教学管理员');
    INSERT INTO `t_role` (`id`, `role_name`, `role_code`, `description`) VALUES('9','管理员','admin','管理员');
    INSERT INTO `t_role` (`id`, `role_name`, `role_code`, `description`) VALUES('10','超级管理员','super','超级管理员');
    
    
    INSERT INTO user_role(id,user_id,role_id) VALUES(NULL, '1', '5'),(NULL, '1', '7'),(NULL, '2', '8'),(NULL, '3', '9'),(NULL, '4', '8'),(NULL, '5', '10') ;
    

    2. explain 之 id

    id 字段是 select查询的序列号,是一组数字,表示的是查询中执行select子句或者是操作表的顺序。id 情况有三种 :

    1. id 相同表示加载表的顺序是从上到下,按照sql书写顺序执行。
    explain select * from t_role r, t_user u, user_role ur where r.id = ur.role_id and u.id = ur.user_id ;
    

    在这里插入图片描述

    1. id 不同id值越大,优先级越高,越先被执行。
    EXPLAIN SELECT * FROM t_role WHERE id = (SELECT role_id FROM user_role WHERE user_id = (SELECT id FROM t_user WHERE username = 'stu1'))
    

    在这里插入图片描述

    1. id 有相同,也有不同,同时存在。id相同的可以认为是一组,从上往下顺序执行;在所有的组中,id的值越大,优先级越高,越先执行。
    EXPLAIN SELECT * FROM t_role r , (SELECT * FROM user_role ur WHERE ur.`user_id` = '2') a WHERE r.id = a.role_id ;
    

    在这里插入图片描述

    3. explain 之 select_type

    表示 SELECT 的类型,常见的取值,如下表所示:

    select_type 含义
    SIMPLE 简单的select查询,查询中不包含子查询或者UNION
    PRIMARY 查询中若包含任何复杂的子查询,最外层查询标记为该标识
    SUBQUERY 在SELECT 或 WHERE 列表中包含了子查询
    DERIVED 在FROM 列表中包含的子查询,被标记为 DERIVED(衍生) MYSQL会递归执行这些子查询,把结果放在临时表中
    UNION 若第二个SELECT出现在UNION之后,则标记为UNION ; 若UNION包含在FROM子句的子查询中,外层SELECT将被标记为 : DERIVED
    UNION RESULT 从UNION表获取结果的SELECT

    4. explain 之 table

    展示这一行的数据是关于哪一张表的

    5. explain 之 type

    type 显示的是访问类型,是较为重要的一个指标,可取值为:

    type 含义
    NULL MySQL不访问任何表,索引,直接返回结果
    system 表只有一行记录(等于系统表),这是const类型的特例,一般不会出现
    const 表示通过索引一次就找到了,const 用于比较primary key 或者 unique 索引。因为只匹配一行数据,所以很快。如将主键置于where列表中,MySQL 就能将该查询转换为一个常亮。const于将 “主键” 或 “唯一” 索引的所有部分与常量值进行比较
    eq_ref 类似ref,区别在于使用的是唯一索引,使用主键的关联查询,关联查询出的记录只有一条。常见于主键或唯一索引扫描
    ref 非唯一性索引扫描,返回匹配某个单独值的所有行。本质上也是一种索引访问,返回所有匹配某个单独值的所有行(多个)
    range 只检索给定返回的行,使用一个索引来选择行。 where 之后出现 between , < , > , in 等操作。
    index index 与 ALL的区别为 index 类型只是遍历了索引树, 通常比ALL 快, ALL 是遍历数据文件。
    all 将遍历全表以找到匹配的行

    结果值从最好到最坏以此是:

    NULL > system > const > eq_ref > ref > fulltext > ref_or_null > index_merge > unique_subquery > index_subquery > range > index > ALL
    
    
    system > const > eq_ref > ref > range > index > ALL
    

    一般来说, 我们需要保证查询至少达到 range 级别, 最好达到ref 。

    6. explain 之 key

    possible_keys : 显示可能应用在这张表的索引, 一个或多个。

    key : 实际使用的索引, 如果为NULL, 则没有使用索引。

    key_len : 表示索引中使用的字节数, 该值为索引字段最大可能长度,并非实际使用长度,在不损失精确性的前提下, 长度越短越好 。

    7. explain 之 rows

    扫描行的数量

    8. explain 之 rows

    其他的额外的执行计划信息,在该列展示 。

    extra 含义
    using filesort 说明mysql会对数据使用一个外部的索引排序,而不是按照表内的索引顺序进行读取, 称为 “文件排序”, 效率低。
    using temporary 使用了临时表保存中间结果,MySQL在对查询结果排序时使用临时表。常见于 order by 和 group by; 效率低
    using index 表示相应的select操作使用了覆盖索引, 避免访问表的数据行, 效率不错。

    总结

    我们在使用优化sql的时候,最关键的一点就是要充分利用索引,如果出现索引没有生效的情况,就应当对sql进行相应的修改,必要的时候,可以拆分sql进行分部查询。

    展开全文
  • SQL的优化

    2008-11-04 10:29:12
    2、根据查询条件,建立索引,优化索引、优化访问方式,限制结果集数据量。 3、扩大服务器内存 4、增加服务器CPU个数 5、对于大数据库不要设置数据库自动增长,它会降低服务器性能 6、在查询Select语句中用...
    如何加快查询速度?
    1、升级硬件
    2、根据查询条件,建立索引,优化索引、优化访问方式,限制结果集的数据量。
    3、扩大服务器的内存
    4、增加服务器CPU个数
    5、对于大的数据库不要设置数据库自动增长,它会降低服务器的性能
    6、在查询Select语句中用Where字句限制返回的行数,避免表扫描,如果返回不必要的数据,浪费了服务器的I/O资源,加重了网络的负担降低性能。如果表很大,在表扫描的期间将表锁住,禁止其他的联接访问表,后果严重。
    7、查询时不要返回不需要的行、列
    8、用select top 100 / 10 Percent 来限制用户返回的行数或者SET ROWCOUNT来限制操作的行
    9、在IN后面值的列表中,将出现最频繁的值放在最前面,出现得最少的放在最后面,减少判断的次数
    10、一般在GROUP BY 个HAVING字句之前就能剔除多余的行,所以尽量不要用它们来做剔除行的工作。他们的执行顺序应该如下最优:
    select的Where字句选择所有合适的行,Group By用来分组个统计行,Having字句用来剔除多余的分组。这样Group By 个Having的开销小,查询快.对于大的数据行进行分组和Having十分消耗资源。如果Group BY的目的不包括计算,只是分组,那么用Distinct更快
    11、一次更新多条记录比分多次更新每次一条快,就是说批处理好
    MS SQL Server查询优化方法
    查询速度慢的原因很多,常见如下几种

    1、没有索引或者没有用到索引(这是查询慢最常见的问题,是程序设计的缺陷)
    2、I/O吞吐量小,形成了瓶颈效应。
    3、没有创建计算列导致查询不优化。
    4、内存不足
    5、网络速度慢
    6、查询出的数据量过大(可以采用多次查询,其他的方法降低数据量)
    7、锁或者死锁(这也是查询慢最常见的问题,是程序设计的缺陷)
    8、sp_lock,sp_who,活动的用户查看,原因是读写竞争资源。
    9、返回了不必要的行和列
    10、查询语句不好,没有优化

    可以通过如下方法来优化查询

    1、把数据、日志、索引放到不同的I/O设备上,增加读取速度,以前可以将Tempdb应放在RAID0上,SQL2000不在支持。数据量(尺寸)越大,提高I/O越重要.
    2、纵向、横向分割表,减少表的尺寸(sp_spaceuse)
    3、升级硬件
    4、根据查询条件,建立索引,优化索引、优化访问方式,限制结果集的数据量。注意填充因子要适当(最好是使用默认值0)。索引应该尽量小,使用字节数小的列建索引好(参照索引的创建),不要对有限的几个值的字段建单一索引如性别字段
    5、提高网速;
    6、扩大服务器的内存,Windows 2000和SQL server 2000能支持4-8G的内存。配置虚拟内存:虚拟内存大小应基于计算机上并发运行的服务进行配置。运行 Microsoft SQL Server? 2000 时,可考虑将虚拟内存大小设置为计算机中安装的物理内存的 1.5 倍。如果另外安装了全文检索功能,并打算运行 Microsoft 搜索服务以便执行全文索引和查询,可考虑:将虚拟内存大小配置为至少是计算机中安装的物理内存的 3 倍。将 SQL Server max server memory 服务器配置选项配置为物理内存的 1.5 倍(虚拟内存大小设置的一半)。
    7、增加服务器CPU个数;但是必须明白并行处理串行处理更需要资源例如内存。使用并行还是串行程是MsSQL自动评估选择的。单个任务分解成多个任务,就可以在处理器上运行。例如耽搁查询的排序、连接、扫描和GROUP BY字句同时执行,SQL SERVER根据系统的负载情况决定最优的并行等级,复杂的需要消耗大量的CPU的查询最适合并行处理。但是更新操作UPDATE,INSERT, DELETE还不能并行处理。
    8、如果是使用like进行查询的话,简单的使用index是不行的,但是全文索引,耗空间。 like 'a%' 使用索引 like '%a' 不使用索引用 like '%a%' 查询时,查询耗时和字段值总长度成正比,所以不能用CHAR类型,而是VARCHAR。对于字段的值很长的建全文索引。
    9、DB Server 和APPLication Server 分离;OLTP和OLAP分离
    10、分布式分区视图可用于实现数据库服务器联合体。联合体是一组分开管理的服务器,但它们相互协作分担系统的处理负荷。这种通过分区数据形成数据库服务器联合体的机制能够扩大一组服务器,以支持大型的多层 Web 站点的处理需要。有关更多信息,参见设计联合数据库服务器。(参照SQL帮助文件'分区视图')

    a、在实现分区视图之前,必须先水平分区表
    b、在创建成员表后,在每个成员服务器上定义一个分布式分区视图,并且每个视图具有相同的名称。这样,引用分布式分区视图名的查询可以在任何一个成员服务器上运行。系统操作如同每个成员服务器上都有一个原始表的复本一样,但其实每个服务器上只有一个成员表和一个分布式分区视图。数据的位置对应用程序是透明的。

    11、重建索引 DBCC REINDEX ,DBCC INDEXDEFRAG,收缩数据和日志 DBCC SHRINKDB,DBCC SHRINKFILE. 设置自动收缩日志.对于大的数据库不要设置数据库自动增长,它会降低服务器的性能。 在T-sql的写法上有很大的讲究,下面列出常见的要点:首先,DBMS处理查询计划的过程是这样的:

    1、 查询语句的词法、语法检查
    2、 将语句提交给DBMS的查询优化器
    3、 优化器做代数优化和存取路径的优化
    4、 由预编译模块生成查询规划
    5、 然后在合适的时间提交给系统处理执行
    6、 最后将执行结果返回给用户其次,看一下SQL SERVER的数据存放的结构:一个页面的大小为8K(8060)字节,8个页面为一个盘区,按照B树存放。

    12、Commit和rollback的区别 Rollback:回滚所有的事物。 Commit:提交当前的事物. 没有必要在动态SQL里写事物,如果要写请写在外面如: begin tran exec(@s) commit trans 或者将动态SQL 写成函数或者存储过程。

    13、在查询Select语句中用Where字句限制返回的行数,避免表扫描,如果返回不必要的数据,浪费了服务器的I/O资源,加重了网络的负担降低性能。如果表很大,在表扫描的期间将表锁住,禁止其他的联接访问表,后果严重。

    14、SQL的注释申明对执行没有任何影响

    15、尽可能不使用光标,它占用大量的资源。如果需要row-by-row地执行,尽量采用非光标技术,如:在客户端循环,用临时表,Table变量,用子查询,用Case语句等等。游标可以按照它所支持的提取选项进行分类: 只进 必须按照从第一行到最后一行的顺序提取行。FETCH NEXT 是唯一允许的提取操作,也是默认方式。可滚动性 可以在游标中任何地方随机提取任意行。游标的技术在SQL2000下变得功能很强大,他的目的是支持循环。

    有四个并发选项

    READ_ONLY:不允许通过游标定位更新(Update),且在组成结果集的行中没有锁。

    OPTIMISTIC WITH valueS:乐观并发控制是事务控制理论的一个标准部分。乐观并发控制用于这样的情形,即在打开游标及更新行的间隔中,只有很小的机会让第二个用户更新某一行。当某个游标以此选项打开时,没有锁控制其中的行,这将有助于最大化其处理能力。如果用户试图修改某一行,则此行的当前值会与最后一次提取此行时获取的值进行比较。如果任何值发生改变,则服务器就会知道其他人已更新了此行,并会返回一个错误。如果值是一样的,服务器就执行修改。 选择这个并发选项OPTIMISTIC WITH ROW VERSIONING:此乐观并发控制选项基于行版本控制。使用行版本控制,其中的表必须具有某种版本标识符,服务器可用它来确定该行在读入游标后是否有所更改。
    在 SQL Server 中,这个性能由 timestamp 数据类型提供,它是一个二进制数字,表示数据库中更改的相对顺序。每个数据库都有一个全局当前时间戳值:@@DBTS。每次以任何方式更改带有 timestamp 列的行时,SQL Server 先在时间戳列中存储当前的 @@DBTS 值,然后增加 @@DBTS 的值。如果某 个表具有 timestamp 列,则时间戳会被记到行级。服务器就可以比较某行的当前时间戳值和上次提取时所存储的时间戳值,从而确定该行是否已更新。服务器不必比较所有列的值,只需比较 timestamp 列即可。如果应用程序对没有 timestamp 列的表要求基于行版本控制的乐观并发,则游标默认为基于数值的乐观并发控制。
    SCROLL LOCKS 这个选项实现悲观并发控制。在悲观并发控制中,在把数据库的行读入游标结果集时,应用程序将试图锁定数据库行。在使用服务器游标时,将行读入游标时会在其上放置一个更新锁。如果在事务内打开游标,则该事务更新锁将一直保持到事务被提交或回滚;当提取下一行时,将除去游标锁。如果在事务外打开游标,则提取下一行时,锁就被丢弃。因此,每当用户需要完全的悲观并发控制时,游标都应在事务内打开。更新锁将阻止任何其它任务获取更新锁或排它锁,从而阻止其它任务更新该行。
    然而,更新锁并不阻止共享锁,所以它不会阻止其它任务读取行,除非第二个任务也在要求带更新锁的读取。滚动锁根据在游标定义的 SELECT 语句中指定的锁提示,这些游标并发选项可以生成滚动锁。滚动锁在提取时在每行上获取,并保持到下次提取或者游标关闭,以先发生者为准。下次提取时,服务器为新提取中的行获取滚动锁,并释放上次提取中行的滚动锁。滚动锁独立于事务锁,并可以保持到一个提交或回滚操作之后。如果提交时关闭游标的选项为关,则 COMMIT 语句并不关闭任何打开的游标,而且滚动锁被保留到提交之后,以维护对所提取数据的隔离。所获取滚动锁的类型取决于游标并发选项和游标 SELECT 语句中的锁提示。
    锁提示 只读 乐观数值 乐观行版本控制 锁定无提示 未锁定 未锁定 未锁定 更新 NOLOCK 未锁定 未锁定 未锁定 未锁定 HOLDLOCK 共享 共享 共享 更新 UPDLOCK 错误 更新 更新 更新 TABLOCKX 错误 未锁定 未锁定 更新其它 未锁定 未锁定 未锁定 更新 *指定 NOLOCK 提示将使指定了该提示的表在游标内是只读的。

    16、用Profiler来跟踪查询,得到查询所需的时间,找出SQL的问题所在;用索引优化器优化索引

    17、注意UNion和UNion all 的区别。UNION all好

    18、注意使用DISTINCT,在没有必要时不要用,它同UNION一样会使查询变慢。重复的记录在查询里是没有问题的

    19、查询时不要返回不需要的行、列

    20、用sp_configure 'query governor cost limit'或者SET QUERY_GOVERNOR_COST_LIMIT来限制查询消耗的资源。当评估查询消耗的资源超出限制时,服务器自动取消查询,在查询之前就扼杀掉。 SET LOCKTIME设置锁的时间


    21、用select top 100 / 10 Percent 来限制用户返回的行数或者SET ROWCOUNT来限制操作的行

    22、在SQL2000以前,一般不要用如下的字句: "IS NULL", " <> ", "!=", "!> ", "! <", "NOT", "NOT EXISTS", "NOT IN", "NOT LIKE", and "LIKE '%500'",因为他们不走索引全是表扫描。也不要在WHere字句中的列名加函数,如Convert,substring等,如果必须用函数的时候,创建计算列再创建索引来替代.还可以变通写法:WHERE SUBSTRING(firstname,1,1) = 'm'改为WHERE firstname like 'm%'(索引扫描),一定要将函数和列名分开。并且索引不能建得太多和太大。NOT IN会多次扫描表,使用EXISTS、NOT EXISTS ,IN , LEFT OUTER JOIN 来替代,特别是左连接,而Exists比IN更快,最慢的是NOT操作.如果列的值含有空,以前它的索引不起作用,现在2000的优化器能够处理了。相同的是IS NULL,“NOT", "NOT EXISTS", "NOT IN"能优化她,而” <> ”等还是不能优化,用不到索引。

    23、使用Query Analyzer,查看SQL语句的查询计划和评估分析是否是优化的SQL。一般的20%的代码占据了80%的资源,我们优化的重点是这些慢的地方。

    24、如果使用了IN或者OR等时发现查询没有走索引,使用显示申明指定索引: SELECT * FROM PersonMember (INDEX = IX_Title) WHERE processid IN (‘男’,‘女’)

    25、将需要查询的结果预先计算好放在表中,查询的时候再SELECT。这在SQL7.0以前是最重要的手段。例如医院的住院费计算。

    26、MIN() 和 MAX()能使用到合适的索引

    27、数据库有一个原则是代码离数据越近越好,所以优先选择Default,依次为Rules,Triggers, Constraint(约束如外健主健CheckUNIQUE……,数据类型的最大长度等等都是约束),Procedure.这样不仅维护工作小,编写程序质量高,并且执行的速度快。

    28、如果要插入大的二进制值到Image列,使用存储过程,千万不要用内嵌INsert来插入(不知JAVA是否)。因为这样应用程序首先将二进制值转换成字符串(尺寸是它的两倍),服务器受到字符后又将他转换成二进制值.存储过程就没有这些动作: 方法:Create procedure p_insert as insert into table(Fimage) values (@image), 在前台调用这个存储过程传入二进制参数,这样处理速度明显改善。

    29、Between在某些时候比IN速度更快,Between能够更快地根据索引找到范围。用查询优化器可见到差别。 select * from chineseresume where title in ('男','女') Select * from chineseresume where between '男' and '女' 是一样的。由于in会在比较多次,所以有时会慢些。

    30、在必要是对全局或者局部临时表创建索引,有时能够提高速度,但不是一定会这样,因为索引也耗费大量的资源。他的创建同是实际表一样。

    31、不要建没有作用的事物例如产生报表时,浪费资源。只有在必要使用事物时使用它。

    32、用OR的字句可以分解成多个查询,并且通过UNION 连接多个查询。他们的速度只同是否使用索引有关,如果查询需要用到联合索引,用UNION all执行的效率更高.多个OR的字句没有用到索引,改写成UNION的形式再试图与索引匹配。一个关键的问题是否用到索引。

    33、尽量少用视图,它的效率低。对视图操作比直接对表操作慢,可以用stored procedure来代替她。特别的是不要用视图嵌套,嵌套视图增加了寻找原始资料的难度。我们看视图的本质:它是存放在服务器上的被优化好了的已经产生了查询规划的SQL。对单个表检索数据时,不要使用指向多个表的视图,直接从表检索或者仅仅包含这个表的视图上读,否则增加了不必要的开销,查询受到干扰.为了加快视图的查询,MsSQL增加了视图索引的功能。

    34、没有必要时不要用DISTINCT和ORDER BY,这些动作可以改在客户端执行。它们增加了额外的开销。这同UNION 和UNION ALL一样的道理。 SELECT top 20 ad.companyname,comid,position,ad.referenceid,worklocation, convert(varchar(10),ad.postDate,120) as postDate1,workyear,degreedescription FROM jobcn_query.dbo.COMPANYAD_query ad where referenceID in('JCNAD00329667','JCNAD132168','JCNAD00337748','JCNAD00338345','JCNAD00333138','JCNAD00303570', 'JCNAD00303569','JCNAD00303568','JCNAD00306698','JCNAD00231935','JCNAD00231933','JCNAD00254567', 'JCNAD00254585','JCNAD00254608','JCNAD00254607','JCNAD00258524','JCNAD00332133','JCNAD00268618', 'JCNAD00279196','JCNAD00268613') order by postdate desc

    35、在IN后面值的列表中,将出现最频繁的值放在最前面,出现得最少的放在最后面,减少判断的次数

    36、当用SELECT INTO时,它会锁住系统表(sysobjects,sysindexes等等),阻塞其他的连接的存取。创建临时表时用显示申明语句,而不是 select INTO. drop table t_lxh begin tran select * into t_lxh from chineseresume where name = 'XYZ' --commit 在另一个连接中SELECT * from sysobjects可以看到 SELECT INTO 会锁住系统表,Create table 也会锁系统表(不管是临时表还是系统表)。所以千万不要在事物内使用它!!!这样的话如果是经常要用的临时表请使用实表,或者临时表变量。

    37、一般在GROUP BY 个HAVING字句之前就能剔除多余的行,所以尽量不要用它们来做剔除行的工作。他们的执行顺序应该如下最优:select 的Where字句选择所有合适的行,Group By用来分组个统计行,Having字句用来剔除多余的分组。这样Group By 个Having的开销小,查询快.对于大的数据行进行分组和Having十分消耗资源。如果Group BY的目的不包括计算,只是分组,那么用Distinct更快

    38、一次更新多条记录比分多次更新每次一条快,就是说批处理好

    39、少用临时表,尽量用结果集和Table类性的变量来代替它,Table 类型的变量比临时表好

    40、在SQL2000下,计算字段是可以索引的,需要满足的条件如下:

    a、计算字段的表达是确定的
    b、不能用在TEXT,Ntext,Image数据类型
    c、必须配制如下选项 ANSI_NULLS = ON, ANSI_PADDINGS = ON, …….

    41、尽量将数据的处理工作放在服务器上,减少网络的开销,如使用存储过程。存储过程是编译好、优化过、并且被组织到一个执行规划里、且存储在数据库中的 SQL语句,是控制流语言的集合,速度当然快。反复执行的动态SQL,可以使用临时存储过程,该过程(临时表)被放在Tempdb中。以前由于SQL SERVER对复杂的数学计算不支持,所以不得不将这个工作放在其他的层上而增加网络的开销。SQL2000支持UDFs,现在支持复杂的数学计算,函数的返回值不要太大,这样的开销很大。用户自定义函数象光标一样执行的消耗大量的资源,如果返回大的结果采用存储过程

    42、不要在一句话里再三的使用相同的函数,浪费资源,将结果放在变量里再调用更快

    43、SELECT COUNT(*)的效率教低,尽量变通他的写法,而EXISTS快.同时请注意区别: select count(Field of null) from Table 和 select count(Field of NOT null) from Table 的返回值是不同的。

    44、当服务器的内存够多时,配制线程数量 = 最大连接数+5,这样能发挥最大的效率;否则使用 配制线程数量 <最大连接数启用SQL SERVER的线程池来解决,如果还是数量 = 最大连接数+5,严重的损害服务器的性能。

    45、按照一定的次序来访问你的表。如果你先锁住表A,再锁住表B,那么在所有的存储过程中都要按照这个顺序来锁定它们。如果你(不经意的)某个存储过程中先锁定表B,再锁定表A,这可能就会导致一个死锁。如果锁定顺序没有被预先详细的设计好,死锁很难被发现

    46、通过SQL Server Performance Monitor监视相应硬件的负载 Memory: Page Faults / sec计数器如果该值偶尔走高,表明当时有线程竞争内存。如果持续很高,则内存可能是瓶颈。 Process:

    1、% DPC Time 指在范例间隔期间处理器用在缓延程序调用(DPC)接收和提供服务的百分比。(DPC 正在运行的为比标准间隔优先权低的间隔)。 由于 DPC 是以特权模式执行的,DPC 时间的百分比为特权时间 百分比的一部分。这些时间单独计算并且不属于间隔计算总数的一部 分。这个总数显示了作为实例时间百分比的平均忙时。
    2、%Processor Time计数器 如果该参数值持续超过95%,表明瓶颈是CPU。可以考虑增加一个处理器或换一个更快的处理器。
    3、% Privileged Time 指非闲置处理器时间用于特权模式的百分比。(特权模式是为操作系统组件和操纵硬件驱动程序而设计的一种处理模式。它允许直接访问硬件和所有内存。另一种模式为用户模式,它是一种为应用程序、环境分系统和整数分系统设计的一种有限处理模式。操作系统将应用程序线程转换成特权模式以访问操作系统服务)。 特权时间的 % 包括为间断和 DPC 提供服务的时间。特权时间比率高可能是由于失败设备产生的大数量的间隔而引起的。这个计数器将平均忙时作为样本时间的一部分显示。
    4、% User Time表示耗费CPU的数据库操作,如排序,执行aggregate functions等。如果该值很高,可考虑增加索引,尽量使用简单的表联接,水平分割大表格等方法来降低该值。 Physical Disk: Curretn Disk Queue Length计数器该值应不超过磁盘数的1.5~2倍。要提高性能,可增加磁盘。 SQLServer:Cache Hit Ratio计数器该值越高越好。如果持续低于80%,应考虑增加内存。 注意该参数值是从SQL Server启动后,就一直累加记数,所以运行经过一段时间后,该值将不能反映系统当前值。
    47、分析select emp_name form employee where salary > 3000 在此语句中若salary是Float类型的,则优化器对其进行优化为Convert(float,3000),因为3000是个整数,我们应在编程时使用3000.0而不要等运行时让DBMS进行转化。同样字符和整型数据的转换。
    展开全文
  • 在我的印象中,只要是系统框架比较旧的项目中,都少不了一大的SQL,粘出来,可以长达两百多行。而这些看起来厉害的SQL,随着系统数据量的增大,也成为了拖垮系统的真正杀手。 遇到这样的项目,SQL优化是必不...
  • 在以前,大家总是强调需要数据库层来完成尽可能的工作,这也就不难理解在一些老的产品、项目中时常会看见多超级复杂、超级长的SQL语句,这样做的逻辑在以前认为多次交互,在网络带宽、程序与数据库间网络通信等...
  • sql优化

    2017-11-05 16:02:10
    2、根据查询条件,建立索引,优化索引、优化访问方式,限制结果集数据量。 3、扩大服务器内存 4、增加服务器CPU个数 5、对于大数据库不要设置数据库自动增长,它会降低服务器性能 6、在查询Select语句中用...
  • SQL 优化

    2014-03-03 09:04:01
    1、升级硬件 2、根据查询条件,建立索引,优化索引、优化访问方式,限制结果集数据量。3、扩大服务器内存4、增加服务器CPU个数5、对于大数据库不要设置数据库自动增长,它会降低服务器性能6、在查询Select...
  • sql 优化

    2013-08-22 11:28:40
    2、根据查询条件,建立索引,优化索引、优化访问方式,限制结果集数据量。 3、扩大服务器内存 4、增加服务器CPU个数 5、对于大数据库不要设置数据库自动增长,它会降低服务器性能 6、在查询Select语句中用...
  • SQL优化

    2013-06-30 23:46:08
    2、根据查询条件,建立索引,优化索引、优化访问方式,限制结果集数据量。 3、扩大服务器内存 4、增加服务器CPU个数 5、对于大数据库不要设置数据库自动增长,它会降低服务器性能 6、在查询Select语句中用...
  • sql语句优化

    2013-12-25 14:22:36
    2、根据查询条件,建立索引,优化索引、优化访问方式,限制结果集数据量。 3、扩大服务器内存 4、增加服务器CPU个数 5、对于大数据库不要设置数据库自动增长,它会降低服务器性能 6、在查询Select语句中用...
  • SQL语句优化汇总

    2019-10-03 20:49:49
    2、根据查询条件,建立索引,优化索引、优化访问方式,限制结果集数据量。 3、扩大服务器内存 4、增加服务器CPU个数 5、对于大数据库不要设置数据库自动增长,它会降低服务器性能 6、在查询Select语句中用...
  • 客服业务受到SQL语句的影响非常大,在规模比较大的局点,往往因为一个小的SQL语句不够优化,导致数据库性能急剧下降,小型机idle所剩无几,应用服务器断连、超时,严重影响业务的正常运行。因此,称低效的SQL语句为...
  • 进行多表连接查询、子查询等操作的时候,写出的sql语句又无法减少服务器执行的时间,这样就会导致等待返回结果的时间太,因此导致查询速度低。优化的目的?加快查询速率如何优化?了解mysql的编...
  • SQL查询优化

    2008-05-12 16:42:00
    查询优化 完全通过系统级服务器性能优化(如内存大小、文件系统类型、处理器的数目及类型等)解决性能问题可能诱人...持续时间意外地长的查询和更新可能由下列原因引起: 网络通讯速度慢。 服务器计算机...
  • SQL语句优化方法

    2014-04-25 16:41:58
    2、根据查询条件,建立索引,优化索引、优化访问方式,限制结果集数据量。 3、扩大服务器内存 4、增加服务器CPU个数 5、对于大数据库不要设置数据库自动增长,它会降低服务器性能6、在查询Select语句中用Where...
  • 引入窗口函数后的SQL能够较方便地引用其它行数据,但写法仍不简洁,有多个跨行引用项时代码会很长。而且如前所述,窗口函数在其它运算结果集基础上再实施,对窗口函数计算值的再引用就要写成子查询的形式,仍然繁琐...
  • 数据量相对也不小,开始时候没有觉得,因为是刚开始,数据量还小,在程序使用过程中速度还挺快,但是随着数据量不停增长,发现程序越来越慢,甚至出现了超时问题,因此要对程序和数据库进行优化,...
  • 关于SQL优化

    2013-03-01 19:26:19
    有时, 为了让应用程序运行得更快...如果它降低了报告或您企业应用程序速度,用户必须等待时间过,他们就会不满意。就像您父母不想听您解释为什么在深更半夜才回来一样,用户也不会听你解释为什么查询耗费
  • sql优化--索引机制

    2020-05-28 21:38:23
    随着数据量不断增长,如何优化sql成了一大难题,经过课程学习,也了解到了一些我们日常没注意语法细节,这里为大家做个分享! sql优化 思路:巧用索引,避免全表扫描。对经常筛选字段添加索引机制,但多时候...
  • 但是一时半会又不知分享点啥方面内容,想来想去,觉得在SQLTuning方面,怎么分析执行计划最重要,也知道有很多人对分析执行计划有一些误区,特别是拿到超长执行计划又不知道如何入手,可能感觉到迷茫。其实ORACLE...

空空如也

空空如也

1 2 3 4 5 ... 14
收藏数 269
精华内容 107
关键字:

很长的sql如何优化