主页 > 大数据 > SQL数据库如何优化?

SQL数据库如何优化?

一、SQL数据库如何优化?

化总结如下:1、主键就是聚集索引2、只要建立索引就能显著提高查询速度3、把所有需要提高查询速度的字段都加进聚集索引,以提高查询速度注意事项1. 不要索引常用的小型表2. 不要把社会保障号码(SSN)或身份证号码(ID)选作键3. 不要用用户的键4. 不要索引 memo/notes 字段和不要索引大型文本字段(许多字符)5. 使用系统生成的主键

二、面试题:oracle数据库优化?

无论什么数据库,大的方面都是这三种吧:

1,数据库配置优化

2,数据库建表时字段设置优化以及字段属性的设置要最合适。

3,sql查询语句优化。

三、程序需要频繁调用数据库,该如何优化?

可以考虑使用缓存、读写库分离等

四、如何在WordPress后台直接优化MySQL数据库?

使用数据库优化清理插件

五、bitnami-redmine数据库访问慢如何优化?

第一 从你的操作代码。

是否可优化 第二 sql优化。例如,索引,或者sql语句优化等到。。

六、数据库性能优化主要包括哪些方面?

数据库性能优化主要一下几个方面:

1、sql语句的执行计划是否正常

2、减少应用和数据库的交互次数、同一个sql语句的执行次数

3、数据库实体的碎片的整理(特别是对某些表经常进行insert和delete动作,尤其注意,索引字段为系列字段、自增长字段、时间字段,对于业务比较频繁的系统,最好一个月重建一次)

4、减少表之间的关联,特别对于批量数据处理,尽量单表查询数据,统一在内存中进行逻辑处理,减少数据库压力(java处理批量数据不可取,尽量用c或者c++进行处理,效率大大提升)

5、对访问频繁的数据,充分利用数据库cache和应用的缓存6、数据量比较大的,在设计过程中,为了减少其他表的关联,增加一些冗余字段,提高查询性能

七、sqlserver数据库中单库满了如何优化?

删除不必要的数据,做分库分表,收缩清除日志

八、sqlserver重新导入数据库是否会优化性能?

不会,重新导入数据库意味着老的数据库文件会被彻底删除,新导入的数据库会被使用,老数据库被删除后,数据库表和所有内容都会彻底删除,无法找到老数据库的一切数据,并不会优化数据库

九、如何优化数据库的连接速度和查询速度?

SQL提高查询效率

1.对查询进行优化,应尽量避免全表扫描,首先应考虑在where及orderby涉及的列上建立索引。

2.应尽量避免在where子句中对字段进行null值判断,否则将导致引擎放弃使用索引而进行全表扫描,如:

selectidfromtwherenumisnull

可以在num上设置默认值0,确保表中num列没有null值,然后这样查询:

selectidfromtwherenum=0

3.应尽量避免在where子句中使用!=或操作符,否则将引擎放弃使用索引而进行全表扫描。

4.应尽量避免在where子句中使用or来连接条件,否则将导致引擎放弃使用索引而进行全表扫描,如:

selectidfromtwherenum=10ornum=20

可以这样查询:

selectidfromtwherenum=10

unionall

selectidfromtwherenum=20

5.in和notin也要慎用,否则会导致全表扫描,如:

selectidfromtwherenumin(1,2,3)

对于连续的数值,能用between就不要用in了:

selectidfromtwherenumbetween1and3

6.下面的查询也将导致全表扫描:

selectidfromtwherenamelike'%abc%'

若要提高效率,可以考虑全文检索。

7.如果在where子句中使用参数,也会导致全表扫描。因为SQL只有在运行时才会解析局部变量,但优化程序不能将访问计划的选择推迟到运行时;它必须在编译时进行选择。然而,如果在编译时建立访问计划,变量的值还是未知的,因而无法作为索引选择的输入项。如下面语句将进行全表扫描:

selectidfromtwherenum=@num

可以改为强制查询使用索引:

selectidfromtwith(index(索引名))wherenum=@num

8.应尽量避免在where子句中对字段进行表达式操作,这将导致引擎放弃使用索引而进行全表扫描。如:

selectidfromtwherenum/2=100

应改为:

selectidfromtwherenum=100*2

9.应尽量避免在where子句中对字段进行函数操作,这将导致引擎放弃使用索引而进行全表扫描。如:

selectidfromtwheresubstring(name,1,3)='abc'--name以abc开头的id

selectidfromtwheredatediff(day,createdate,'2005-11-30')=0--‘2005-11-30’生成的id

应改为:

selectidfromtwherenamelike'abc%'

selectidfromtwherecreatedate>='2005-11-30'andcreatedate

10.不要在where子句中的“=”左边进行函数、算术运算或其他表达式运算,否则系统将可能无法正确使用索引。

11.在使用索引字段作为条件时,如果该索引是复合索引,那么必须使用到该索引中的第一个字段作为条件时才能保证系统使用该索引,否则该索引将不会被使用,并且应尽可能的让字段顺序与索引顺序相一致。

12.不要写一些没有意义的查询,如需要生成一个空表结构:

selectcol1,col2into#tfromtwhere1=0

这类代码不会返回任何结果集,但是会消耗系统资源的,应改成这样:

createtable#t(...)

13.很多时候用exists代替in是一个好的选择:

selectnumfromawherenumin(selectnumfromb)

用下面的语句替换:

selectnumfromawhereexists(select1frombwherenum=a.num)

14.并不是所有索引对查询都有效,SQL是根据表中数据来进行查询优化的,当索引列有大量数据重复时,SQL查询可能不会去利用索引,如一表中有字段sex,male、female几乎各一半,那么即使在sex上建了索引也对查询效率起不了作用。

15.索引并不是越多越好,索引固然可以提高相应的select的效率,但同时也降低了insert及update的效率,因为insert或update时有可能会重建索引,所以怎样建索引需要慎重考虑,视具体情况而定。一个表的索引数最好不要超过6个,若太多则应考虑一些不常使用到的列上建的索引是否有必要。

16.应尽可能的避免更新clustered索引数据列,因为clustered索引数据列的顺序就是表记录的物理存储顺序,一旦该列值改变将导致整个表记录的顺序的调整,会耗费相当大的资源。若应用系统需要频繁更新clustered索引数据列,那么需要考虑是否应将该索引建为clustered索引。

17.尽量使用数字型字段,若只含数值信息的字段尽量不要设计为字符型,这会降低查询和连接的性能,并会增加存储开销。这是因为引擎在处理查询和连接时会逐个比较字符串中每一个字符,而对于数字型而言只需要比较一次就够了。

18.尽可能的使用varchar/nvarchar代替char/nchar,因为首先变长字段存储空间小,可以节省存储空间,其次对于查询来说,在一个相对较小的字段内搜索效率显然要高些。

19.任何地方都不要使用select*fromt,用具体的字段列表代替“*”,不要返回用不到的任何字段。

20.尽量使用表变量来代替临时表。如果表变量包含大量数据,请注意索引非常有限(只有主键索引)。

21.避免频繁创建和删除临时表,以减少系统表资源的消耗。

22.临时表并不是不可使用,适当地使用它们可以使某些例程更有效,例如,当需要重复引用大型表或常用表中的某个数据集时。但是,对于一次性事件,最好使用导出表。

23.在新建临时表时,如果一次性插入数据量很大,那么可以使用selectinto代替createtable,避免造成大量log,以提高速度;如果数据量不大,为了缓和系统表的资源,应先createtable,然后insert。

24.如果使用到了临时表,在存储过程的最后务必将所有的临时表显式删除,先truncatetable,然后droptable,这样可以避免系统表的较长时间锁定。

25.尽量避免使用游标,因为游标的效率较差,如果游标操作的数据超过1万行,那么就应该考虑改写。

26.使用基于游标的方法或临时表方法之前,应先寻找基于集的解决方案来解决问题,基于集的方法通常更有效。

27.与临时表一样,游标并不是不可使用。对小型数据集使用FAST_FORWARD游标通常要优于其他逐行处理方法,尤其是在必须引用几个表才能获得所需的数据时。在结果集中包括“合计”的例程通常要比使用游标执行的速度快。如果开发时间允许,基于游标的方法和基于集的方法都可以尝试一下,看哪一种方法的效果更好。

28.在所有的存储过程和触发器的开始处设置SETNOCOUNTON,在结束时设置SETNOCOUNTOFF。无需在执行存储过程和触发器的每个语句后向客户端发送DONE_IN_PROC消息。

29.尽量避免大事务操作,提高系统并发能力。

30.尽量避免向客户端返回大数据量,若数据量过大,应该考虑相应需求是否合理

1、避免将字段设为“允许为空”

2、数据表设计要规范

3、深入分析数据操作所要对数据库进行的操作

4、尽量不要使用临时表

5、多多使用事务

6、尽量不要使用游标

7、避免死锁

8、要注意读写锁的使用

9、不要打开大的数据集

10、不要使用服务器端游标

11、在程序编码时使用大数据量的数据库

12、不要给“性别”列创建索引

13、注意超时问题

14、不要使用Select*

15、在细节表中插入纪录时,不要在主表执行SelectMAX(ID)

16、尽量不要使用TEXT数据类型

17、使用参数查询

18、不要使用Insert导入大批的数据

19、学会分析查询

20、使用参照完整性

21、用INNERJOIN和LEFTJOIN代替Where

提高SQL查询效率(要点与技巧):

·技巧一:

问题类型:ACCESS数据库字段中含有日文片假名或其它不明字符时查询会提示内存溢出。

解决方法:修改查询语句

sql="select*fromtablenamewherecolumnlike'%"&word&"%'"

改为

sql="select*fromtablename"

rs.filter="columnlike'%"&word&"%'"

===========================================================

技巧二:

问题类型:如何用简易的办法实现类似百度的多关键词查询(多关键词用空格或其它符号间隔)。

解决方法:

'//用空格分割查询字符串

ck=split(word,"")

'//得到分割后的数量

sck=UBound(ck)

sql="select*tablenamewhere"

在一个字段中查询

Fori=0Tosck

SQL=SQL&tempJoinWord&"("&_

"columnlike'"&ck(i)&"%')"

tempJoinWord="and"

Next

在二个字段中同时查询

Fori=0Tosck

SQL=SQL&tempJoinWord&"("&_

"columnlike'"&ck(i)&"%'or"&_

"column1like'"&ck(i)&"%')"

tempJoinWord="and"

Next

===========================================================

技巧三:大大提高查询效率的几种技巧

1.尽量不要使用or,使用or会引起全表扫描,将大大降低查询效率。

2.经过实践验证,charindex()并不比前面加%的like更能提高查询效率,并且charindex()会使索引失去作用(指sqlserver数据库)

3.columnlike'%"&word&"%'会使索引不起作用

columnlike'"&word&"%'会使索引起作用(去掉前面的%符号)

(指sqlserver数据库)

4.'%"&word&"%'与'"&word&"%'在查询时的区别:

比如你的字段内容为一个容易受伤的女人

'%"&word&"%':会通配所有字符串,不论查“受伤”还是查“一个”,都会显示结果。

'"&word&"%':只通配前面的字符串,例如查“受伤”是没有结果的,只有查“一个”,才会显示结果。

5.字段提取要按照“需多少、提多少”的原则,避免“select*”,尽量使用“select字段1,字段2,字段3........”。实践证明:每少提取一个字段,数据的提取速度就会有相应的提升。提升的速度还要看您舍弃的字段的大小来判断。

6.orderby按聚集索引列排序效率最高。一个sqlserver数据表只能建立一个聚集索引,一般默认为ID,也可以改为其它的字段。

7.为你的表建立适当的索引,建立索引可以使你的查询速度提高几十几百倍。(指sqlserver数据库)

·以下是建立索引与不建立索引的一个查询效率分析:

Sqlserver索引与查询效率分析。

表News

字段

Id:自动编号

Title:文章标题

Author:作者

Content:内容

Star:优先级

Addtime:时间

记录:100万条

测试机器:P42.8/1G内存/IDE硬盘

=======================================================

方案1:

主键Id,默认为聚集索引,不建立其它非聚集索引

select*fromNewswhereTitlelike'%"&word&"%'orAuthorlike'%"&word&"%'orderbyIddesc

从字段Title和Author中模糊检索,按Id排序

查询时间:50秒

=======================================================

方案2:

主键Id,默认为聚集索引

在Title、Author、Star上建立非聚集索引

select*fromNewswhereTitlelike'"&word&"%'orAuthorlike'"&word&"%'orderbyIddesc

从字段Title和Author中模糊检索,按Id排序

查询时间:2-2.5秒

=======================================================

方案3:

主键Id,默认为聚集索引

在Title、Author、Star上建立非聚集索引

select*fromNewswhereTitlelike'"&word&"%'orAuthorlike'"&word&"%'orderbyStardesc

从字段Title和Author中模糊检索,按Star排序

查询时间:2秒

=======================================================

方案4:

主键Id,默认为聚集索引

在Title、Author、Star上建立非聚集索引

select*fromNewswhereTitlelike'"&word&"%'orAuthorlike'"&word&"%'

从字段Title和Author中模糊检索,不排序

查询时间:1.8-2秒

=======================================================

方案5:

主键Id,默认为聚集索引

在Title、Author、Star上建立非聚集索引

select*fromNewswhereTitlelike'"&word&"%'

select*fromNewswhereAuthorlike'"&word&"%'

从字段Title或Author中检索,不排序

查询时间:1秒

·如何提高SQL语言的查询效率?

问:请问我如何才能提高SQL语言的查询效率呢?

答:这得从头说起:

由于SQL是面向结果而不是面向过程的查询语言,所以一般支持SQL语言的大型关系型数据库都使用一个基于查询成本的优化器,为即时查询提供一个最佳的执行策略。对于优化器,输入是一条查询语句,输出是一个执行策略。

一条SQL查询语句可以有多种执行策略,优化器将估计出全部执行方法中所需时间最少的所谓成本最低的那一种方法。所有优化都是基于用记所使用的查询语句中的where子句,优化器对where子句中的优化主要用搜索参数(SerachArgument)。

搜索参数的核心思想就是数据库使用表中字段的索引来查询数据,而不必直接查询记录中的数据。

带有=、、>=等操作符的条件语句可以直接使用索引,如下列是搜索参数:

emp_id="10001"或salary>3000或a=1andc=7

而下列则不是搜索参数:

salary=emp_salary或dep_id!=10或salary*12>=3000或a=1orc=7

应当尽可能提供一些冗余的搜索参数,使优化器有更多的选择余地。请看以下3种方法:

第一种方法:

selectemployee.emp_name,department.dep_namefromdepartment,employeewhere(employee.dep_id=department.dep_id)and(department.dep_code="01")and(employee.dep_code="01");

它的搜索分析结果如下:

Estimate2I/Ooperations

Scandepartmentusingprimarykey

forrowswheredep_codeequals"01"

Estimategettinghere1times

Scanemployeesequentially

Estimategettinghere5times

第二种方法:

selectemployee.emp_name,department.dep_namefromdepartment,employeewhere(employee.dep_id=department.dep_id)and(department.dep_code="01");

它的搜索分析结果如下:

Estimate2I/Ooperations

Scandepartmentusingprimarykey

forrowswheredep_codeequals"01"

Estimategettinghere1times

Scanemployeesequentially

Estimategettinghere5times

第一种方法与第二种运行效率相同,但第一种方法最好,因为它为优化器提供了更多的选择机会。

第三种方法:

selectemployee.emp_name,department.dep_namefromdepartment,employeewhere(employee.dep_id=department.dep_id)and(employee.dep_code="01");

这种方法最不好,因为它无法使用索引,也就是无法优化……

使用SQL语句时应注意以下几点:

1、避免使用不兼容的数据类型。例如,Float和Integer,Char和Varchar,Binary和LongBinary不兼容的。数据类型的不兼容可能使优化器无法执行一些本可以进行的优化操作。例如:

selectemp_nameformemployeewheresalary>3000;

在此语句中若salary是Float类型的,则优化器很难对其进行优化,因为3000是个整数,我们应在编程时使用3000.0而不要等运行时让DBMS进行转化。

2、尽量不要使用表达式,因它在编绎时是无法得到的,所以SQL只能使用其平均密度来估计将要命中的记录数。

3、避免对搜索参数使用其他的数学操作符。如:

selectemp_namefromemployeewheresalary*12>3000;

应改为:

selectemp_namefromemployeewheresalary>250;

4、避免使用!=或等这样的操作符,因为它会使系统无法使用索引,而只能直接搜索表中的数据。

·ORACAL中的应用

一个1600万数据表--短信上行表TBL_SMS_MO

结构:

CREATETABLETBL_SMS_MO

(

SMS_IDNUMBER,

MO_IDVARCHAR2(50),

MOBILEVARCHAR2(11),

SPNUMBERVARCHAR2(20),

MESSAGEVARCHAR2(150),

TRADE_CODEVARCHAR2(20),

LINK_IDVARCHAR2(50),

GATEWAY_IDNUMBER,

GATEWAY_PORTNUMBER,

MO_TIMEDATEDEFAULTSYSDATE

);

CREATEINDEXIDX_MO_DATEONTBL_SMS_MO(MO_TIME)

PCTFREE10

INITRANS2

MAXTRANS255

STORAGE

(

INITIAL1M

NEXT1M

MINEXTENTS1

MAXEXTENTSUNLIMITED

PCTINCREASE0

);

CREATEINDEXIDX_MO_MOBILEONTBL_SMS_MO(MOBILE)

PCTFREE10

INITRANS2

MAXTRANS255

STORAGE

(

INITIAL64K

NEXT1M

MINEXTENTS1

MAXEXTENTSUNLIMITED

PCTINCREASE0

);

问题:从表中查询某时间段内某手机发送的短消息,如下SQL语句:

SELECTMOBILE,MESSAGE,TRADE_CODE,MO_TIME

FROMTBL_SMS_MO

WHEREMOBILE='130XXXXXXXX'

ANDMO_TIMEBETWEENTO_DATE('2006-04-01','YYYY-MM-DDHH24:MI:SS')ANDTO_DATE('2006-04-07','YYYY-MM-DDHH24:MI:SS')

ORDERBYMO_TIMEDESC

返回结果大约需要10分钟,应用于网页查询,简直难以忍受。

分析:

在PL/SQLDeveloper,点击“ExplainPlan”按钮(或F5键),对SQL进行分析,发现缺省使用的索引是IDX_MO_DATE。问题可能出在这里,因为相对于总数量1600万数据来说,都mobile的数据是很少的,如果使用IDX_MO_MOBILE比较容易锁定数据。

如下优化:

SELECT/*+index(TBL_SMS_MOIDX_MO_MOBILE)*/MOBILE,MESSAGE,TRADE_CODE,MO_TIME

FROMTBL_SMS_MO

WHEREMOBILE='130XXXXXXXX'

ANDMO_TIMEBETWEENTO_DATE('2006-04-01','YYYY-MM-DDHH24:MI:SS')ANDTO_DATE('2006-04-07','YYYY-MM-DDHH24:MI:SS')

ORDERBYMO_TIMEDESC

测试:

按F8运行这个SQL,哇~......2.360s,这就是差别。

http://www.cnblogs.com/ShaYeBlog/archive/2013/07/31/3227244.html

十、数据库导致服务器CPU过高怎么优化?

mysql数据库导致cpu过高一般从执行状态分析:

执行状态分析

Sleep状态

通常代表资源未释放,如果是通过连接池,sleep状态应该恒定在一定数量范围内

实战范例:因前端数据输出时(特别是输出到用户终端)未及时关闭数据库连接,导致因网络连接速度产生大量sleep连接,在网速出现异常时,数据库too many connections挂死。

简单解读,数据查询和执行通常只需要不到0.01秒,而网络输出通常需要1秒左右甚至更长,原本数据连接在0.01秒即可释放,但是因为前端程序未执行close操作,直接输出结果,那么在结果未展现在用户桌面前,该数据库连接一直维持在sleep状态!

Waiting for net, reading from net, writing to net

偶尔出现无妨

如大量出现,迅速检查数据库到前端的网络连接状态和流量

案例:因外挂程序,内网数据库大量读取,内网使用的百兆交换迅速爆满,导致大量连接阻塞在waiting for net,数据库连接过多崩溃

Locked状态

有更新操作锁定

通常使用innodb可以很好的减少locked状态的产生,但是切记,更新操作要正确使用索引,即便是低频次更新操作也不能疏忽。如上影响结果集范例所示。

在myisam的时代,locked是很多高并发应用的噩梦。所以mysql官方也开始倾向于推荐innodb。

Copy to tmp table

索引及现有结构无法涵盖查询条件,才会建立一个临时表来满足查询要求,产生巨大的恐怖的i/o压力。

很可怕的搜索语句会导致这样的情况,如果是数据分析,或者半夜的周期数据清理任务,偶尔出现,可以允许。频繁出现务必优化之。

Copy to tmp table通常与连表查询有关,建议逐渐习惯不使用连表查询。

实战范例:

u 某社区数据库阻塞,求救,经查,其服务器存在多个数据库应用和网站,其中一个不常用的小网站数据库产生了一个恐怖的copy to tmp table操作,导致整个硬盘i/o和cpu压力超载。Kill掉该操作一切恢复。

Sending data

Sending data并不是发送数据,别被这个名字所欺骗,这是从物理磁盘获取数据的进程,如果你的影响结果集较多,那么就需要从不同的磁盘碎片去抽取数据,

偶尔出现该状态连接无碍。

回到上面影响结果集的问题,一般而言,如果sending data连接过多,通常是某查询的影响结果集过大,也就是查询的索引项不够优化。

如果出现大量相似的SQL语句出现在show proesslist列表中,并且都处于sending data状态,优化查询索引,记住用影响结果集的思路去思考。

Storing result to query cache

出现这种状态,如果频繁出现,使用set profiling分析,如果存在资源开销在SQL整体开销的比例过大(即便是非常小的开销,看比例),则说明query cache碎片较多

使用flush query cache可即时清理,也可以做成定时任务

Query cache参数可适当酌情设置。

Freeing items

理论上这玩意不会出现很多。偶尔出现无碍

如果大量出现,内存,硬盘可能已经出现问题。比如硬盘满或损坏。

i/o压力过大时,也可能出现Free items执行时间较长的情况。

Sorting for …

和Sending data类似,结果集过大,排序条件没有索引化,需要在内存里排序,甚至需要创建临时结构排序。

其他

相关推荐