[转帖]SQL语句性能调整原则

ehxz

免费乐捐，感谢支持

一、问题的提出
在应用系统开发初期，由于开发数据库数据比较少，对于查询SQL语句，复杂视图的的编写等体会不出SQL语句各种写法的性能优劣，但是如果将应用系统提交实际应用后，随着数据库中数据的增加，系统的响应速度就成为目前系统需要解决的最主要的问题之一。系统优化中一个很重要的方面就是SQL语句的优化。对于海量数据，劣质SQL语句和优质SQL语句之间的速度差别可以达到上百倍，可见对于一个系统不是简单地能实现其功能就可，而是要写出高质量的SQL语句，提高系统的可用性。

在多数情况下，Oracle使用索引来更快地遍历表，优化器主要根据定义的索引来提高性能。但是，如果在SQL语句的where子句中写的SQL代码不合理，就会造成优化器删去索引而使用全表扫描，一般就这种SQL语句就是所谓的劣质SQL语句。在编写SQL语句时我们应清楚优化器根据何种原则来删除索引，这有助于写出高性能的SQL语句。

二、SQL语句编写注意问题
下面就某些SQL语句的where子句编写中需要注意的问题作详细介绍。在这些where子句中，即使某些列存在索引，但是由于编写了劣质的SQL，系统在运行该SQL语句时也不能使用该索引，而同样使用全表扫描，这就造成了响应速度的极大降低。

1. IS NULL 与 IS NOT NULL
不能用null作索引，任何包含null值的列都将不会被包含在索引中。即使索引有多列这样的情况下，只要这些列中有一列含有null，该列就会从索引中排除。也就是说如果某列存在空值，即使对该列建索引也不会提高性能。

任何在where子句中使用is null或is not null的语句优化器是不允许使用索引的。

2. 联接列

对于有联接的列，即使最后的联接值为一个静态值，优化器是不会使用索引的。我们一起来看一个例子，假定有一个职工表（employee），对于一个职工的姓和名分成两列存放（FIRST_NAME和LAST_NAME），现在要查询一个叫比尔.克林顿（Bill Cliton）的职工。

下面是一个采用联接查询的SQL语句，

select * from employss
where
first_name||''||last_name ='Beill Cliton';

上面这条语句完全可以查询出是否有Bill Cliton这个员工，但是这里需要注意，系统优化器对基于last_name创建的索引没有使用。

当采用下面这种SQL语句的编写，Oracle系统就可以采用基于last_name创建的索引。

Select * from employee
where
first_name ='Beill' and last_name ='Cliton';

遇到下面这种情况又如何处理呢？如果一个变量（name）中存放着Bill Cliton这个员工的姓名，对于这种情况我们又如何避免全程遍历，使用索引呢？可以使用一个函数，将变量name中的姓和名分开就可以了，但是有一点需要注意，这个函数是不能作用在索引列上。下面是SQL查询脚本：

select * from employee
where
first_name = SUBSTR('&&name',1,INSTR('&&name',' ')-1)
and
last_name = SUBSTR('&&name',INSTR('&&name’,' ')+1)

3. 带通配符（%）的like语句

同样以上面的例子来看这种情况。目前的需求是这样的，要求在职工表中查询名字中包含cliton的人。可以采用如下的查询SQL语句：

select * from employee where last_name like '%cliton%';

这里由于通配符（%）在搜寻词首出现，所以Oracle系统不使用last_name的索引。在很多情况下可能无法避免这种情况，但是一定要心中有底，通配符如此使用会降低查询速度。然而当通配符出现在字符串其他位置时，优化器就能利用索引。在下面的查询中索引得到了使用：

select * from employee where last_name like 'c%';

4. Order by语句

ORDER BY语句决定了Oracle如何将返回的查询结果排序。Order by语句对要排序的列没有什么特别的限制，也可以将函数加入列中（象联接或者附加等）。任何在Order by语句的非索引项或者有计算表达式都将降低查询速度。

仔细检查order by语句以找出非索引项或者表达式，它们会降低性能。解决这个问题的办法就是重写order by语句以使用索引，也可以为所使用的列建立另外一个索引，同时应绝对避免在order by子句中使用表达式。

5. NOT

我们在查询时经常在where子句使用一些逻辑表达式，如大于、小于、等于以及不等于等等，也可以使用and（与）、or（或）以及not（非）。NOT可用来对任何逻辑运算符号取反。下面是一个NOT子句的例子：

... where not (status ='VALID')

如果要使用NOT，则应在取反的短语前面加上括号，并在短语前面加上NOT运算符。NOT运算符包含在另外一个逻辑运算符中，这就是不等于（<>）运算符。换句话说，即使不在查询where子句中显式地加入NOT词，NOT仍在运算符中，见下例：

... where status <>'INVALID';

再看下面这个例子：

select * from employee where salary<>3000;

对这个查询，可以改写为不使用NOT：

select * from employee where salary<3000 or salary>3000;

虽然这两种查询的结果一样，但是第二种查询方案会比第一种查询方案更快些。第二种查询允许Oracle对salary列使用索引，而第一种查询则不能使用索引。

6. IN和EXISTS

有时候会将一列和一系列值相比较。最简单的办法就是在where子句中使用子查询。在where子句中可以使用两种格式的子查询。

第一种格式是使用IN操作符：

... where column in(select * from ... where ...);

第二种格式是使用EXIST操作符：

... where exists (select 'X' from ...where ...);

我相信绝大多数人会使用第一种格式，因为它比较容易编写，而实际上第二种格式要远比第一种格式的效率高。在Oracle中可以几乎将所有的IN操作符子查询改写为使用EXISTS的子查询。

第二种格式中，子查询以‘select 'X'开始。运用EXISTS子句不管子查询从表中抽取什么数据它只查看where子句。这样优化器就不必遍历整个表而仅根据索引就可完成工作（这里假定在where语句中使用的列存在索引）。相对于IN子句来说，EXISTS使用相连子查询，构造起来要比IN子查询困难一些。

通过使用EXIST，Oracle系统会首先检查主查询，然后运行子查询直到它找到第一个匹配项，这就节省了时间。Oracle系统在执行IN子查询时，首先执行子查询，并将获得的结果列表存放在在一个加了索引的临时表中。在执行子查询之前，系统先将主查询挂起，待子查询执行完毕，存放在临时表中以后再执行主查询。这也就是使用EXISTS比使用IN通常查询速度快的原因。

同时应尽可能使用NOT EXISTS来代替NOT IN，尽管二者都使用了NOT（不能使用索引而降低速度），NOT EXISTS要比NOT IN查询效率更高。

 

----------------------------------------------

SQL语句性能调整的目标是：
　　去掉不必要的大表全表扫描 不必要的大表全表扫描会造成不必要的输入输出，而且还会拖垮整个数据库；
　　检查优化索引的使用 这对于提高查询速度来说非常重要
　　检查子查询 考虑SQL子查询是否可以用简单连接的方式进行重新书写；
　　调整PCTFREE和PCTUSED等存储参数优化插入、更新或者删除等操作；
　　考虑数据库的优化器;
　　考虑数据表的全表扫描和在多个CPU的情况下考虑并行查询;
　　
一、 索引(INDEX)使用的问题
　　1． 索引(INDEX)，用还是不用？这是个的问题。
　　是全表扫描还是索引范围扫描主要考虑SQL的查询速度问题。这里主要关心读取的记录的数目。根据DONALD K .BURLESON的说法,使用索引范围扫描的原则是：
　　对于数据有原始排序的表，读取少于表记录数40%的查询应该使用索引范围扫描。对读取多于表记录数40%的查询应全表扫描。
　　对于未排序的表，读取少于表记录数7%的查询应该使用索引范围扫描,反之，对读取多于表记录数7%的查询应全表扫描。
　　注：在不同的书中，对是否使用索引的读取记录的百分比值不太一致，基本上是一个经验值，但是读取记录的百分比越低，使用索引越有效。
　　2． 如果列上有建索引，什么SQL查询是有用索引(INDEX)的？什么SQL查询是没有用索引(INDEX)的？
　　存在下面情况的SQL，不会用到索引：
　　存在数据类型隐形转换的,如：
　　select * from staff_member where staff_id=’123’；
　　列上有数学运算的，如：
　　select * from staff_member where salary*2<10000;
　　使用不等于(<> )运算的，如：
　　select * from staff_member where dept_no<>2001;
　　使用substr字符串函数的，如：
　　select * from staff_member where substr(last_name,1,4)=’FRED’;
　　‘%’通配符在第一个字符的，如:
　　select * from staff_member where first_name like ‘%DON’;
　　字符串连接(||)的，如：
　　select * from staff_member where first_name||’’=’DONALD’
　　3． 函数的索引
　　日期类型也是很容易用到的，而且在SQL语句中会使用to_char函数以查询具体的的范围日期。如：select * from staff_member where TO_CHAR(birth_day,’YYYY’)=’2003’; 我们可以建立基于函数的索引如：CREATE INDEX Ind_emp_birth ON staff_member (to_char((birth_day,’YYYY’));
　　
二、 SQL语句排序优化
　　1． 排序发生的情况：
　　SQL中包含group by 子句
　　SQL 中包含order by 子句
　　SQL 中包含 distinct 子句
　　SQL 中包含 minus 或 union操作
　　创建索引时
　　2． 排序在内存还是在磁盘中进行？
　　在内存执行的排序速度要比在磁盘执行的排序速度快14000倍。如果是专用连接，排序内存根据INIT.ORA的sort_area_size进行分配，如果是多线程服务连接，排序内存根据large_pool_size进行分配。
　　sort_area_size的增大可以减少磁盘排序，但是过大将使ORACLE性能降低，因为所用的连接回话都会分配到一个sort_area_size大小的内存，所以，为了提高有限的查询速度，可能会浪费大量的内存。
　　增加sort_multiblock_read_count的值使每次读取更多的内容，减少运行次数，提高性能。

三、SQL子查询的调整
　　1、理解关联子查询和非关联子查询。
　　下面是一个非关联子查询：
　　select staff_name from staff_member where staff_id
　　in (select staff_id from staff_func);
　　而下面是一个关联子查询：
　　select staff_name from staff_member where staff_id in (select staff_id from staff_func where staff_member.staff_id=staff_func.staff_id);
　　以上返回的结果集是相同的，可是它们的执行开销是不同的：
　　非关联查询的开销——非关联查询时子查询只会执行一次，而且结果是排序好的，并保存在一个ORACLE的临时段中，其中的每一个记录在返回时都会被父查询所引用。在子查询返回大量的记录的情况下，将这些结果集排序，以及将临时数据段进行排序会增加大量的系统开销。
　　关联查询的开销——对返回到父查询的的记录来说，子查询会每行执行一次。因此，我们必须保证任何可能的时候子查询用到索引。
　　2、XISTS子句和IN子句
　　带IN的关联子查询是多余的，因为IN子句和子查询中相关的操作的功能是一样的。如：
　　select staff_name from staff_member where staff_id in (select staff_id from staff_func where staff_member.staff_id=staff_func.staff_id);
　　为非关联子查询指定EXISTS子句是不适当的，因为这样会产生笛卡乘积。如：
　　select staff_name from staff_member where staff_id
　　Exists (select staff_id from staff_func);
　　尽量不要使用NOT IN子句。使用MINUS 子句都比NOT IN 子句快，虽然使用MINUS子句要进行两次查询：
　　select staff_name from staff_member where staff_id in (select staff_id from staff_member MINUS select staff_id from staff_func where func_id like ‘81%’);
　　3、 任何可能的时候，用标准连接或内嵌视图改写子查询。
　　
四、更新、插入、以及删除等DML语句的调整
　　1、DML语句是指用来执行更新、插入、以及删除等操作类型的语句。这些语句在结构上是很简单的，可调整的余地较小。性能低下的情况有：
　　插入缓慢并占有过多的I/O资源——这种情况主要是空闲列表(free list)中的数据块的空间过小，仅容的下较少的记录。
　　更新缓慢——这种情况主要是UPDATE操作扩展了一个VARCHAR2类型的列，而ORACLE被强制将内容迁移到其他数据块时。
　　删除缓慢——这种情况主要是记录被删除，ORACLE必须将数据块重新放置到空闲列表(free list)时。
　　因此，对DML进行调整，主要时利用对象存储参数和SQL之间的关系进行调整。
　　2、 CTFREE存储参数
　　PCTFREE存储参数告诉ORACLE什么时候应该将数据块从对象的空闲列表中移出。ORACLE的默认参数是PCTFREE=10；也就是说，一旦一个INSERT操作使得数据块的90%被使用，这个数据块就从空闲列表(free list)中移出。
　　PCTUSED存储参数
　　PCTUSED存储参数告诉ORACLE什么时候将以前满的数据块加到空闲列表中。当记录从数据表中删除时，数据库的数据块就有空间接受新的记录，但只有当填充的空间降到PCTUSED值以下时，该数据块才被连接到空闲列表中，才可以往其中插入数据。PCTUSED的默认值是PCTUSED=40。
　　存储参数规则小结
　　（1）PCTUSED较高意味着相对较满的数据块会被放置到空闲列表中，从而有效的重复使用数据块的空间，但会导致I/O消耗。PCTUSED低意味着在一个数据块快空的时候才被放置到空闲列表中，数据块一次能接受很多的记录，因此可以减少I/O消耗，提高性能。
　　（2）PCTFREE的值较大意味着数据块没有被利用多少就从空闲列表中断开连接，不利于数据块的充分使用。PCTFREE过小的结果是，在更新时可能会出现数据记录迁移(Migration)的情况。(注：数据记录迁移(Migration)是指记录在是UPDATE操作扩展了一个VARCHAR2类型的列或BLOB列后,PCTFREE参数所指定的空间不够扩展，从而记录被ORACLE强制迁移到新的数据块，发生这种情况将较严重的影响ORACLE的性能，出现更新缓慢)。
　　（3）在批量的插入、删除或者更新操作之前，先删除该表上的索引，在操作完毕之后在重新建立，这样有助于提高批量操作的整体速度，并且保证B树索引在操作之后有良好的性能。
　　3、 同优化器下的调整；
　　基于成本优化器(CBO)：
　　（1）ORACLE 8i 以上版本更多地使用成本优化器，因为它更加智能；
　　（2）通过optimizer_mode=all_rows 或 first_rows来选择CBO；通过alter session set optimizer_goal=all_rows 或 first_rows来选择CBO;通过添加hint来选择CBO;
　　（3）使用基于成本优化的一个关键是：存在表和索引的统计资料。通过analyze table 获得表的统计资料；通过analyze index获得索引的统计资料。
　　（4）对于超过5个表的连接的查询，建议不要使用成本优化器，而是在SQL语句中通过添加/* + rule */提示或者通过指定的执行计划来避免可能会在20分钟以上的SQL解析时间。
　　基于规则优化器(RBO)：
　　（1）ORACLE 8i以及ORACLE的以前版本主要用(RBO),并且比较有效；
　　（2）通过optimizer_mode=rule来选择RBO；通过alter session set optimizer_goal=rule来选择RBO; 通过添加/* + rule */来选择RBO;
　　（3）在RBO中，from 子句的表的顺序决定表的连接顺序。From 子句的最后一个表是驱动表，这个表应该是最小的表。
　　（4）限定性最强的布尔表达式放在最底层。

　　4、跟踪、优化SQL语句的方法
　　保证在实例级将TIMED_STATISTICS设置为TRUE(在 INIT.ORA中永久的设置它或执行 ALTER SYSTEM 命令临时设置它)；
　　保证将MAX_DUMP_FILE_SIZE设置的较高。此参数控制跟踪文件的大小。
　　决定USER_DUMP_DEST所指向的位置，并保证有足够的磁盘空间。这是放置跟踪文件的位置。
　　在应用系统运行时，打开所怀疑的回话的SQL_TRACE.(在 INIT.ORA中通过SQL_TRACE=TRUE永久的设置对所有的回话进行跟踪或通过使用系统包DBMS_SYSTEM.set_sql_trace_in_session(sid，serial,true);命令临时设置它)
　　执行业务相关操作；
　　设置跟踪结束(DBMS_SYSTEM.set_sql_trace_in_session(sid,serial,false)，如果没有该步骤，可能跟踪文件中的信息不全，因为可能有一部分还在缓存中)；
　　定位跟踪文件；
　　对步骤6的跟踪文件进行TKPROF，生成报告文件；
　　研究此报告文件，可以看到CPU、DISK、 QUERY、 COUNT等参数和execution plan(执行计划)，优化开销最大的SQL；
　　重复执行步骤4)~9)直到达到所需的性能目标；