查询优化之EXPLAIN的使用分析

不同的SQL语句写法,往往会带来很大的性能差异,我们怎么才能知道执行SQL查询开销呢?MySQL为我们提供了EXPLAIN关键词,在你的select语句前加上EXPLAIN关键词,MySQL将解释它是如何处理的SELECT查询,提供有关表如何联接和联接的次序,所扫描的记录数等相关信息,你可以凭借这些信息,来优化你的SQL查询。

EXPLAIN select id, username from userinfo where username like '%peng%';

我们在查询语句前加上了EXPLAIN关键词,那么我们可以得到如下的报告。

id: 1
select_type: SIMPLE
table: userinfo
type: ALL
possible_keys: NULL
key: NULL
key_len: NULL
rel: NULL
rows: 6
Extra: Using where

大概解释下每一个数据项的含义:

  • id:SELECT识别符,SELECT的查询序列号;

  • select_type:SELECT类型,可以是SIMPLE(简单查询)、PRIMARY(最外面的select)等;

  • table:用到的表

  • type:联接类型

  • possible_keys:可用索引列

  • key:实际用到的索引列

  • key_len:键长度

  • rel:使用哪个列或常数与key一起从表中选择行

  • rows:检查的行数

  • Extra:该列包含MySQL解决查询的详细信息

更具体的解释请查阅MySQL手册,在这里,把手册的内容再抄一遍并没有什么意义,当你有了这些参考数据后,就能更准确的完成MySQL查询优化了。

基于Php mysql存储过程的详解

实例一:无参的存储过程

$conn = mysql_connect('localhost','root','root') or die ("数据连接错误!!!");
mysql_select_db('test',$conn);
$sql = "
create procedure myproce()
begin
INSERT INTO user (id, username, sex) VALUES (NULL, 's', '0');
end;
";
mysql_query($sql);//创建一个myproce的存储过程

$sql = "call test.myproce();";
mysql_query($sql);//调用myproce的存储过程,则数据库中将增加一条新记录。

实例二:传入参数的存储过程

$sql = "
create procedure myproce2(in score int)
begin
if score >= 60 then
select 'pass';
else
select 'no';
end if;
end;
";
mysql_query($sql);//创建一个myproce2的存储过程
$sql = "call test.myproce2(70);";
mysql_query($sql);//调用myproce2的存储过程,看不到效果,可以在cmd下看到结果。

实例三:传出参数的存储过程

$sql = "
create procedure myproce3(out score int)
begin
set score=100;
end;
";
mysql_query($sql);//创建一个myproce3的存储过程
$sql = "call test.myproce3(@score);";
mysql_query($sql);//调用myproce3的存储过程
$result = mysql_query('select @score;');
$array = mysql_fetch_array($result);
echo '<pre>';print_r($array);

实例四:传出参数的inout存储过程

$sql = "
create procedure myproce4(inout sexflag int)
begin
SELECT * FROM user WHERE sex = sexflag;
end;
";
mysql_query($sql);//创建一个myproce4的存储过程
$sql = "set @sexflag = 1";
mysql_query($sql);//设置性别参数为1
$sql = "call test.myproce4(@sexflag);";
mysql_query($sql);//调用myproce4的存储过程,在cmd下面看效果

实例五:使用变量的存储过程

$sql = "
create procedure myproce5(in a int,in b int)
begin
declare s int default 0;
set s=a+b;
select s;
end;
";
mysql_query($sql);//创建一个myproce5的存储过程
$sql = "call test.myproce5(4,6);";
mysql_query($sql);//调用myproce5的存储过程,在cmd下面看效果

实例六:case语法

$sql = "
create procedure myproce6(in score int)
begin
case score
when 60 then select '及格';
when 80 then select '及良好';
when 100 then select '优秀';
else select '未知分数';
end case;
end;
";
mysql_query($sql);//创建一个myproce6的存储过程
$sql = "call test.myproce6(100);";
mysql_query($sql);//调用myproce6的存储过程,在cmd下面看效果

实例七:循环语句

$sql = "
create procedure myproce7()
begin
declare i int default 0;
declare j int default 0;
while i<10 do
set j=j+i;
set i=i+1;
end while;
select j;
end;
";
mysql_query($sql);//创建一个myproce7的存储过程
$sql = "call test.myproce7();";
mysql_query($sql);//调用myproce7的存储过程,在cmd下面看效果

实例八:repeat语句

$sql = "
create procedure myproce8()
begin
declare i int default 0;
declare j int default 0;
repeat
set j=j+i;
set i=i+1;
until j>=10
end repeat;
select j;
end;
";
mysql_query($sql);//创建一个myproce8的存储过程
$sql = "call test.myproce8();";
mysql_query($sql);//调用myproce8的存储过程,在cmd下面看效果

实例九:loop语句

$sql = "
create procedure myproce9()
begin
declare i int default 0;
declare s int default 0;

loop_label:loop
set s=s+i;
set i=i+1;
if i>=5 then
leave loop_label;
end if;
end loop;
select s;
end;
";
mysql_query($sql);//创建一个myproce9的存储过程
$sql = "call test.myproce9();";
mysql_query($sql);//调用myproce9的存储过程,在cmd下面看效果

实例十:删除存储过程

mysql_query(“drop procedure if exists myproce”);//删除test的存储过程

实例十一:存储过程中的游标

总结:

  1. 存储过程可用于InnoDB或MyISAM类型的表

  2. show procedure status显示数据库中所有存储的存储过程基本信息,包括所属数据库,存储过程名称,创建时间等<br>

  3. SHOW CREATE PROCEDURE myproce显示某一个存储过程的详细信息<br>

基于mysql时间处理函数的应用详解

DAYOFWEEK(date)

返回日期date的星期索引(1=星期天,2=星期一, ……7=星期六)。这些索引值对应于ODBC标准。

mysql> select DAYOFWEEK('1998-02-03');  

-> 3  

WEEKDAY(date)

返回date的星期索引(0=星期一,1=星期二, ……6= 星期天)。

mysql> select WEEKDAY('1997-10-04 22:23:00');  

-> 5  

mysql> select WEEKDAY('1997-11-05');  

-> 2  

DAYOFMONTH(date)

返回date的月份中日期,在1到31范围内。

mysql> select DAYOFMONTH('1998-02-03');  

-> 3  

DAYOFYEAR(date)

返回date在一年中的日数, 在1到366范围内。

mysql> select DAYOFYEAR('1998-02-03');  

-> 34  

MONTH(date)

返回date的月份,范围1到12。

mysql> select MONTH('1998-02-03');  

-> 2  

DAYNAME(date)

返回date的星期名字。

mysql> select DAYNAME("1998-02-05");  

-> 'Thursday'  

MONTHNAME(date)

返回date的月份名字。

mysql> select MONTHNAME("1998-02-05");  

-> 'February'  

QUARTER(date)

返回date一年中的季度,范围1到4。

mysql> select QUARTER('98-04-01');  

-> 2  

WEEK(date)

WEEK(date,first)

对于星期天是一周的第一天的地方,有一个单个参数,返回date的周数,范围在0到52。2个参数形式WEEK()允许

你指定星期是否开始于星期天或星期一。如果第二个参数是0,星期从星期天开始,如果第二个参数是1,

从星期一开始。

mysql> select WEEK('1998-02-20');  

-> 7  

mysql> select WEEK('1998-02-20',0);  

-> 7  

mysql> select WEEK('1998-02-20',1);  

-> 8  

YEAR(date)

返回date的年份,范围在1000到9999。

mysql> select YEAR('98-02-03');  

-> 1998  

HOUR(time)

返回time的小时,范围是0到23。

mysql> select HOUR('10:05:03');  

-> 10  

MINUTE(time)

返回time的分钟,范围是0到59。

mysql> select MINUTE('98-02-03 10:05:03');  

-> 5  

SECOND(time)

回来time的秒数,范围是0到59。

mysql> select SECOND('10:05:03');  

-> 3  

PERIOD_ADD(P,N)

增加N个月到阶段P(以格式YYMM或YYYYMM)。以格式YYYYMM返回值。注意阶段参数P不是日期值。

mysql> select PERIOD_ADD(9801,2);  

-> 199803  

PERIOD_DIFF(P1,P2)

返回在时期P1和P2之间月数,P1和P2应该以格式YYMM或YYYYMM。注意,时期参数P1和P2不是日期值。

mysql> select PERIOD_DIFF(9802,199703);  

-> 11  

DATE_ADD(date,INTERVAL expr type)

DATE_SUB(date,INTERVAL expr type)

ADDDATE(date,INTERVAL expr type)  

SUBDATE(date,INTERVAL expr type)  

这些功能执行日期运算。对于MySQL 3.22,他们是新的。ADDDATE()和SUBDATE()是DATE_ADD()和DATE_SUB()的同义词。

在MySQL 3.23中,你可以使用+和-而不是DATE_ADD()和DATE_SUB()。(见例子)date是一个指定开始日期的

DATETIME或DATE值,expr是指定加到开始日期或从开始日期减去的间隔值一个表达式,expr是一个字符串;它可以以

一个“-”开始表示负间隔。type是一个关键词,指明表达式应该如何被解释。EXTRACT(type FROM date)函数从日期

中返回“type”间隔。下表显示了type和expr参数怎样被关联: type值 含义 期望的expr格式

  • SECOND 秒 SECONDS

  • MINUTE 分钟 MINUTES

  • HOUR 时间 HOURS

  • DAY 天 DAYS

  • MONTH 月 MONTHS

  • YEAR 年 YEARS

  • MINUTE_SECOND 分钟和秒 “MINUTES:SECONDS”

  • HOUR_MINUTE 小时和分钟 “HOURS:MINUTES”

  • DAY_HOUR 天和小时 “DAYS HOURS”

  • YEAR_MONTH 年和月 “YEARS-MONTHS”

  • HOUR_SECOND 小时, 分钟, “HOURS:MINUTES:SECONDS”

  • DAY_MINUTE 天, 小时, 分钟 “DAYS HOURS:MINUTES”

  • DAY_SECOND 天, 小时, 分钟, 秒 “DAYS HOURS:MINUTES:SECONDS”

MySQL在expr格式中允许任何标点分隔符。表示显示的是建议的分隔符。如果date参数是一个DATE值并且你的计算仅仅

包含YEAR、MONTH和DAY部分(即,没有时间部分),结果是一个DATE值。否则结果是一个DATETIME值。

mysql> SELECT "1997-12-31 23:59:59" + INTERVAL 1 SECOND;  

-> 1998-01-01 00:00:00  

mysql> SELECT INTERVAL 1 DAY + "1997-12-31";  

-> 1998-01-01  

mysql> SELECT "1998-01-01" - INTERVAL 1 SECOND;  

-> 1997-12-31 23:59:59  

mysql> SELECT DATE_ADD("1997-12-31 23:59:59",  

INTERVAL 1 SECOND);  

-> 1998-01-01 00:00:00  

mysql> SELECT DATE_ADD("1997-12-31 23:59:59",  

INTERVAL 1 DAY);  

-> 1998-01-01 23:59:59  

mysql> SELECT DATE_ADD("1997-12-31 23:59:59",  

INTERVAL "1:1" MINUTE_SECOND);  

-> 1998-01-01 00:01:00  

mysql> SELECT DATE_SUB("1998-01-01 00:00:00",  

INTERVAL "1 1:1:1" DAY_SECOND);  

-> 1997-12-30 22:58:59  

mysql> SELECT DATE_ADD("1998-01-01 00:00:00",  

INTERVAL "-1 10" DAY_HOUR);  

-> 1997-12-30 14:00:00  

mysql> SELECT DATE_SUB("1998-01-02", INTERVAL 31 DAY);  

-> 1997-12-02  

mysql> SELECT EXTRACT(YEAR FROM "1999-07-02");  

-> 1999  

mysql> SELECT EXTRACT(YEAR_MONTH FROM "1999-07-02 01:02:03");  

-> 199907  

mysql> SELECT EXTRACT(DAY_MINUTE FROM "1999-07-02 01:02:03");  

-> 20102  

如果你指定太短的间隔值(不包括type关键词期望的间隔部分),MySQL假设你省掉了间隔值的最左面部分。例如,

如果你指定一个type是DAY_SECOND,值expr被希望有天、小时、分钟和秒部分。如果你象”1:10″这样指定值,

MySQL假设日子和小时部分是丢失的并且值代表分钟和秒。换句话说,”1:10″ DAY_SECOND以它等价于”1:10″ MINUTE_SECOND

的方式解释,这对那MySQL解释TIME值表示经过的时间而非作为一天的时间的方式有二义性。如果你使用确实不正确的日期,

结果是NULL。如果你增加MONTH、YEAR_MONTH或YEAR并且结果日期大于新月份的最大值天数,日子在新月用最大的天调整。

mysql> select DATE_ADD('1998-01-30', Interval 1 month);  

-> 1998-02-28  

注意,从前面的例子中词INTERVAL和type关键词不是区分大小写的。

TO_DAYS(date)

给出一个日期date,返回一个天数(从0年的天数)。

mysql> select TO_DAYS(950501);  

-> 728779  

mysql> select TO_DAYS('1997-10-07');  

-> 729669  

TO_DAYS()不打算用于使用格列高里历(1582)出现前的值。

FROM_DAYS(N)

给出一个天数N,返回一个DATE值。

mysql> select FROM_DAYS(729669);  

-> '1997-10-07'  

TO_DAYS()

不打算用于使用格列高里历(1582)出现前的值。

DATE_FORMAT(date,format)

根据format字符串格式化date值。下列修饰符可以被用在format字符串中: %M 月名字(January……December)

  • %W 星期名字(Sunday……Saturday)

  • %D 有英语前缀的月份的日期(1st, 2nd, 3rd, 等等。)

  • %Y 年, 数字, 4 位

  • %y 年, 数字, 2 位

  • %a 缩写的星期名字(Sun……Sat)

  • %d 月份中的天数, 数字(00……31)

  • %e 月份中的天数, 数字(0……31)

  • %m 月, 数字(01……12)

  • %c 月, 数字(1……12)

  • %b 缩写的月份名字(Jan……Dec)

  • %j 一年中的天数(001……366)

  • %H 小时(00……23)

  • %k 小时(0……23)

  • %h 小时(01……12)

  • %I 小时(01……12)

  • %l 小时(1……12)

  • %i 分钟, 数字(00……59)

  • %r 时间,12 小时(hh:mm:ss [AP]M)

  • %T 时间,24 小时(hh:mm:ss)

  • %S 秒(00……59)

  • %s 秒(00……59)

  • %p AM或PM

  • %w 一个星期中的天数(0=Sunday ……6=Saturday )

  • %U 星期(0……52), 这里星期天是星期的第一天

  • %u 星期(0……52), 这里星期一是星期的第一天

  • %% 一个文字“%”。

所有的其他字符不做解释被复制到结果中。

mysql> select DATE_FORMAT('1997-10-04 22:23:00', '%W %M %Y');  

-> 'Saturday October 1997'  

mysql> select DATE_FORMAT('1997-10-04 22:23:00', '%H:%i:%s');  

-> '22:23:00'  

mysql> select DATE_FORMAT('1997-10-04 22:23:00',  

'%D %y %a %d %m %b %j');  

-> '4th 97 Sat 04 10 Oct 277'  

mysql> select DATE_FORMAT('1997-10-04 22:23:00',  

'%H %k %I %r %T %S %w');  

-> '22 22 10 10:23:00 PM 22:23:00 00 6'  

MySQL3.23中,在格式修饰符字符前需要%。在MySQL更早的版本中,%是可选的。

TIME_FORMAT(time,format)

这象上面的DATE_FORMAT()函数一样使用,但是format字符串只能包含处理小时、分钟和秒的那些格式修饰符。

其他修饰符产生一个NULL值或0。

CURDATE()

CURRENT_DATE

以’YYYY-MM-DD’或YYYYMMDD格式返回今天日期值,取决于函数是在一个字符串还是数字上下文被使用。

mysql> select CURDATE();  

-> '1997-12-15'  

mysql> select CURDATE() + 0;  

-> 19971215  

CURTIME()

CURRENT_TIME

以’HH:MM:SS’或HHMMSS格式返回当前时间值,取决于函数是在一个字符串还是在数字的上下文被使用。

mysql> select CURTIME();  

-> '23:50:26'  

mysql> select CURTIME() + 0;  

-> 235026  

NOW()

SYSDATE()

CURRENT_TIMESTAMP

以’YYYY-MM-DD HH:MM:SS’或YYYYMMDDHHMMSS格式返回当前的日期和时间,取决于函数是在一个字符串还是在数字的

上下文被使用。

mysql> select NOW();  

-> '1997-12-15 23:50:26'  

mysql> select NOW() + 0;  

-> 19971215235026  

UNIX_TIMESTAMP(date)

如果没有参数调用,返回一个Unix时间戳记(从’1970-01-01 00:00:00’GMT开始的秒数)。如果UNIX_TIMESTAMP()用一

个date参数被调用,它返回从’1970-01-01 00:00:00′ GMT开始的秒数值。date可以是一个DATE字符串、一个DATETIME

字符串、一个TIMESTAMP或以YYMMDD或YYYYMMDD格式的本地时间的一个数字。

mysql> select UNIX_TIMESTAMP();  

-> 882226357  

mysql> select UNIX_TIMESTAMP('1997-10-04 22:23:00');  

-> 875996580  

当UNIX_TIMESTAMP被用于一个TIMESTAMP列,函数将直接接受值,没有隐含的“string-to-unix-timestamp”变换。

FROM_UNIXTIME(unix_timestamp)

以’YYYY-MM-DD HH:MM:SS’或YYYYMMDDHHMMSS格式返回unix_timestamp参数所表示的值,取决于函数是在一个字符串

还是或数字上下文中被使用。

mysql> select FROM_UNIXTIME(875996580);  

-> '1997-10-04 22:23:00'  

mysql> select FROM_UNIXTIME(875996580) + 0;  

-> 19971004222300  

FROM_UNIXTIME(unix_timestamp,format)

返回表示 Unix 时间标记的一个字符串,根据format字符串格式化。format可以包含与DATE_FORMAT()函数列出的条

目同样的修饰符。

mysql> select FROM_UNIXTIME(UNIX_TIMESTAMP(),  

'%Y %D %M %h:%i:%s %x');  

-> '1997 23rd December 03:43:30 x'  

SEC_TO_TIME(seconds)

返回seconds参数,变换成小时、分钟和秒,值以’HH:MM:SS’或HHMMSS格式化,取决于函数是在一个字符串还是在数字

上下文中被使用。

mysql> select SEC_TO_TIME(2378);  

-> '00:39:38'  

mysql> select SEC_TO_TIME(2378) + 0;  

-> 3938  

TIME_TO_SEC(time)

返回time参数,转换成秒。

mysql> select TIME_TO_SEC('22:23:00');  

-> 80580  

mysql> select TIME_TO_SEC('00:39:38');  

-> 2378

深入理解where 1=1的用处

where 1=1有什么用?在SQL语言中,写这么一句话就跟没写一样。

select * from table1 where 1=1与select * from table1完全没有区别,甚至还有其他许多写法,1<>2,’a’=’a’,’a'<>’b’,其目的就只有一个,where 的条件为永真,得到的结果就是未加约束条件的。

在SQL注入时会用到这个,例如select * from table1 where name=’lala’给强行加上select * from table1 where name=’lala’ or 1=1这就又变成了无约束的查询了。

最近发现的妙用在于,在不定数量查询条件情况下,1=1可以很方便的规范语句。例如一个查询可能有name,age,height,weight约束,也可能没有,那该如何处理呢?

String sql=select * from table1 where 1=1

为什么要写多余的1=1?马上就知道了。

if(!name.equals("")){
sql=sql+"name='"+name+"'";
}
if(!age.equals("")){
sql=sql+"age'"+age+"'";
}
if(!height.equals("")){
sql=sql+"height='"+height+"'";
}
if(!weight.equals("")){
sql=sql+"weight='"+weight+"'";
}

如果不写1=1呢,那么在每一个不为空的查询条件面前,都必须判断有没有where字句,否则要在第一个出现的地方加where

where 1=1的写法是为了检化程序中对条件的检测

打个比方有三个参数a, b, c

@sql=select * from tb'

这三个参数都可能为空

这时你要构造语句的话,一个个检测再写语句就麻烦

比如

if @a is not null

@sql=@sql + " where a=' + @a

if @b is not null

这里你怎么写?要不要加where 或直接用 and ?,你这里还要对@a是否为空进行检测

用上 where 1=1 之后,就不存在这样的问题, 条件是 and 就直接and ,是or就直接接 or

拷贝表

create   table_name   as   select   *   from   Source_table   where   1=1; 

复制表结构

create   table_name   as   select   *   from   Source_table   where   1 <> 1; 

MySql修改数据库编码为UTF8避免造成乱码问题

mysql 创建数据库时指定编码很重要,很多开发者都使用了默认编码,乱码问题可是防不胜防。制定数据库的编码可以很大程度上避免倒入导出带来的乱码问题。

网页数据一般采用UTF8编码,而数据库默认为latin 。我们可以通过修改数据库默认编码方式为UTF8来减少数据库创建时的设置,也能最大限度的避免因粗心造成的乱码问题。

我们遵循的标准是,数据库,表,字段和页面或文本的编码要统一起来

我们可以通过命令查看数据库当前编码: mysql> SHOW VARIABLES LIKE ‘character%’;

发现很多对应的都是 latin1,我们的目标就是在下次使用此命令时latin1能被UTF8取代。

第一阶段:

mysql设置编码命令

SET character_set_client = utf8; 
SET character_set_connection = utf8; 
SET character_set_database = utf8; 
SET character_set_results = utf8; 
SET character_set_server = utf8; 

然后 mysql> SHOW VARIABLES LIKE ‘character%’; 你可以看到全变为 utf8 。

但是,这只是一种假象

此种方式只在当前状态下有效,当重启数据库服务后失效。

所以如果想要不出现乱码只有修改my.ini文件,

从my.ini下手(标签下没有的添加,有的修改)

[client] 

default-character-set=utf8 

[mysql] 

default-character-set=utf8 

[mysqld] 

default-character-set=utf8 

以上3个section都要加default-character-set=utf8,平时我们可能只加了mysqld一项。

然后重启mysql,执行

mysql> SHOW VARIABLES LIKE 'character%'; 

确保所有的Value项都是utf8即可。

但是可恶的事情又来了,

|character_set_client | utf8 | 

| character_set_connection | utf8 | 

| character_set_database | utf8 | 

| character_set_filesystem | binary | 

| character_set_results | utf8 | 

| character_set_server | latin1 | 

| character_set_system | utf8 注意 该配置| character_set_server | latin1 无法设置成UTF8 交互时候仍然会出现乱码。

第二阶段:找到下面这东东

X:%path%MySQLMySQL Server 5.0binMySQLInstanceConfig.exe 

重新启动设置,将默认编码设置为utf8.这样就能达到我们所要的效果了。

mysql> SHOW VARIABLES LIKE 'character%'; 

+--------------------------+---------------------------------------------------------+ 

| Variable_name | Value | 

+--------------------------+---------------------------------------------------------+ 

| character_set_client | utf8 | 

| character_set_connection | utf8 | 

| character_set_database | utf8 | 

| character_set_filesystem | binary | 

| character_set_results | utf8 | 

| character_set_server | utf8 | 

| character_set_system | utf8 | 

| character_sets_dir | C:Program FilesMySQLMySQL Server 5.0sharecharsets | 

+--------------------------+---------------------------------------------------------+ 

8 rows in set 

另外注意事项:

1、建表时加utf8,表字段的Collation可加可不加,不加时默认是utf8_general_ci了。

CREATE TABLE `tablename4` ( 
`id` int(11) NOT NULL AUTO_INCREMENT, 
`varchar1` varchar(255) DEFAULT NULL, 
`varbinary1` varbinary(255) DEFAULT NULL, 
PRIMARY KEY (`id`) 
) ENGINE=MyISAM DEFAULT CHARSET=utf8 

2、网页xxx.php/jsp保存时选择utf8编码,页头最好加上

header('conten-type:text/html;charset=utf-8'); 

在执行CRUD操作前先执行一下

mysql_query("set names utf8"); 

连接数据库设置编码

jdbc:mysql://地址:3306/数据库名?characterEncoding=utf8 

java中的常用编码UTF-8;GBK;GB2312;ISO-8859-1;

对应mysql数据库中的编码utf8;gbk;gb2312;latin1

浅谈MySQL存储引擎选择 InnoDB与MyISAM的优缺点分析

下面先让我们回答一些问题:

  • 你的数据库有外键吗?

  • 你需要事务支持吗?

  • 你需要全文索引吗?

  • 你经常使用什么样的查询模式?

  • 你的数据有多大?

思考上面这些问题可以让你找到合适的方向,但那并不是绝对的。如果你需要事务处理或是外键,那么InnoDB 可能是比较好的方式。如果你需要全文索引,那么通常来说 MyISAM是好的选择,因为这是系统内建的,然而,我们其实并不会经常地去测试两百万行记录。所以,就算是慢一点,我们可以通过使用Sphinx从InnoDB中获得全文索引。

数据的大小,是一个影响你选择什么样存储引擎的重要因素,大尺寸的数据集趋向于选择InnoDB方式,因为其支持事务处理和故障恢复。数据库的在小决定了故障恢复的时间长短,InnoDB可以利用事务日志进行数据恢复,这会比较快。而MyISAM可能会需要几个小时甚至几天来干这些事,InnoDB只需要几分钟。

您操作数据库表的习惯可能也会是一个对性能影响很大的因素。比如: COUNT() 在 MyISAM 表中会非常快,而在InnoDB 表下可能会很痛苦。而主键查询则在InnoDB下会相当相当的快,但需要小心的是如果我们的主键太长了也会导致性能问题。大批的inserts 语句在MyISAM下会快一些,但是updates 在InnoDB 下会更快一些——尤其在并发量大的时候。

所以,到底你检使用哪一个呢?根据经验来看,如果是一些小型的应用或项目,那么MyISAM 也许会更适合。当然,在大型的环境下使用MyISAM 也会有很大成功的时候,但却不总是这样的。如果你正在计划使用一个超大数据量的项目,而且需要事务处理或外键支持,那么你真的应该直接使用InnoDB方式。但需要记住InnoDB 的表需要更多的内存和存储,转换100GB 的MyISAM 表到InnoDB 表可能会让你有非常坏的体验。

MyISAM存储引擎

MyISAM是 默认存储引擎。它基于更老的ISAM代码,但有很多有用的扩展。MyISAM存储引擎的一些特征:

  • 所有数据值先存储低字节。这使得数据机和操作系统分离。二进制轻便性的唯一要求是机器使用补码(如最近20年的机器有的一样)和IEEE浮点格式(在主流机器中也完全是主导的)。唯一不支持二进制兼容性的机器是嵌入式系统。这些系统有时使用特殊的处理器。

  • 先存储数据低字节并不严重地影响速度;数据行中的字节一般是未联合的,从一个方向读未联合的字节并不比从反向读更占用更多的资源。服务器上的获取列值的代码与其它代码相比并不显得时间紧。

  • 大文件(达63位文件长度)在支持大文件的文件系统和操作系统上被支持。

  • 当把删除和更新及插入混合的时候,动态尺寸的行更少碎片。这要通过合并相邻被删除的块,以及若下一个块被删除,就扩展到下一块来自动完成。

  • 每个MyISAM表最大索引数是64。 这可以通过重新编译来改变。每个索引最大的列数是16个。

  • 最大的键长度是1000字节。这也可以通过编译来改变。对于键长度超过250字节的情况,一个超过1024字节的的键块被用上。

  • BLOB和TEXT列可以被索引。

  • NULL值被允许在索引的列中。这个占每个键的0-1个字节。

  • 所有数字键值以高字节为先被存储以允许一个更高地索引压缩。

  • 当记录以排好序的顺序插入(就像你使用一个AUTO_INCREMENT列之时),索引树被劈开以便高节点仅包含一个键。这改善了索引树的空间利用率。

  • 每表一个AUTO_INCREMEN列的内部处理。MyISAM为INSERT和UPDATE操作自动更新这一 列。这使得AUTO_INCREMENT列更快(至少10%)。在序列顶的值被删除之后就不能再利用。(当AUTO_INCREMENT列被定义为多列索 引的最后一列,可以出现重使用从序列顶部删除的值的情况 )。AUTO_INCREMENT值可用ALTER TABLE或myisamch来重置。

  • 如果数据文件中间的表没有自由块了,在其它线程从表读的同时,你可以INSERT新行到表中。(这被认识为并发操作 )。自由块的出现是作为删除行的结果,或者是用比当前内容多的数据对动态长度行更新的结果。当所有自由块被用完(填满),未来的插入又变成并发。

  • 你可以把数据文件和索引文件放在不同目录,用DATA DIRECTORY和INDEX DIRECTORY选项CREATE TABLE以获得更高的速度,请参阅13.1.5节,“CREATE TABLE语法”。

  • 每个字符列可以又不同的字符集。

  • 在MyISAM索引文件里又一个标志,它表明表是否被正确关闭。如果用–myisam-recover选项启动mysqld,MyISAM表在打开得时候被自动检查,如果被表被不恰当地关闭,就修复表。

  • 如果你用–update-state选项运行myisamchk,它标注表为已检查。myisamchk –fast只检查那些没有这个标志的表。

  • myisamchk –analyze为部分键存储统计信息,也为整个键存储统计信息。

  • myisampack可以打包BLOB和VARCHAR列。

MyISAM也支持下列特征:

  • 支持true VARCHAR类型;VARCHAR列以存储在2个字节中的长度来开始。

  • 有VARCHAR的表可以有固定或动态记录长度。

  • VARCHAR和CHAR列可以多达64KB。

  • 一个被搞乱的已计算索引对可对UNIQUE来使用。这允许你在表内任何列的合并上有UNIQUE。(尽管如此,你不能在一个UNIQUE已计算索引上搜索)。

InnoDB存储引擎

InnoDB给MySQL提供 了具有提交,回滚和崩溃恢复能力的事务安全(ACID兼容)存储引擎。InnoDB锁定在行级并且也在SELECT语句提供一个Oracle风格一致的非 锁定读。这些特色增加 了多用户部署和性能。没有在InnoDB中扩大锁定的需要,因为在InnoDB中行级锁定适合非常小的空间。InnoDB也支持FOREIGN KEY强制。在SQL查询中,你可以自由地将InnoDB类型的表与其它MySQL的表的类型混合起来,甚至在同一个查询中也可以混合。

InnoDB是为处理巨大数据量时的最大性能设计。它的CPU效率可能是任何其它基于磁盘的关系数据库引擎所不能匹敌的。

InnoDB存储引擎被完全与MySQL服务器整合,InnoDB存储引擎为在主内存中缓存数据和索引而维持它自己的缓冲池。 InnoDB存储它的表&索引在一个表空间中,表空间可以包含数个文件(或原始磁盘分区)。这与MyISAM表不同,比如在MyISAM表中每个表被存在 分离的文件中。InnoDB 表可以是任何尺寸,即使在文件尺寸被限制为2GB的操作系统上。

InnoDB默认地被包含在MySQL二进制分发中。Windows Essentials installer使InnoDB成为Windows上MySQL的 默认表。

InnoDB被用来在众多需要高性能的大型数据库站点上产生。著名的Internet新闻站点Slashdot.org运行在 InnoDB上。Mytrix, Inc.在InnoDB上存储超过1TB的数据,还有一些其它站点在InnoDB上处理平均每秒800次插入/更新的负荷。

InnoDB和MyISAM的区别

区别概述:

MyISAM 是MySQL中默认的存储引擎,一般来说不是有太多人关心这个东西。决定使用什么样的存储引擎是一个很tricky的事情,但是还是值我们去研究一下,这里的文章只考虑 MyISAM 和InnoDB这两个,因为这两个是最常见的。

下面先让我们回答一些问题:

  • 你的数据库有外键吗?

  • 你需要事务支持吗?

  • 你需要全文索引吗?

  • 你经常使用什么样的查询模式?

  • 你的数据有多大?

思考上面这些问题可以让你找到合适的方向,但那并不是绝对的。如果你需要事务处理或是外键,那么InnoDB 可能是比较好的方式。如果你需要全文索引,那么通常来说 MyISAM是好的选择,因为这是系统内建的,然而,我们其实并不会经常地去测试两百万行记录。所以,就算是慢一点,我们可以通过使用Sphinx从 InnoDB中获得全文索引。

数据的大小,是一个影响你选择什么样存储引擎的重要因素,大尺寸的数据集趋向于选择InnoDB方式,因为其支持事务处理和故障恢复。数据库的在小 决定了故障恢复的时间长短,InnoDB可以利用事务日志进行数据恢复,这会比较快。而MyISAM可能会需要几个小时甚至几天来干这些事,InnoDB 只需要几分钟。

您操作数据库表的习惯可能也会是一个对性能影响很大的因素。比如: COUNT() 在 MyISAM 表中会非常快,而在InnoDB 表下可能会很痛苦。而主键查询则在InnoDB下会相当相当的快,但需要小心的是如果我们的主键太长了也会导致性能问题。大批的inserts 语句在MyISAM下会快一些,但是updates 在InnoDB 下会更快一些——尤其在并发量大的时候。

所以,到底你检使用哪一个呢?根据经验来看,如果是一些小型的应用或项目,那么MyISAM 也许会更适合。当然,在大型的环境下使用MyISAM 也会有很大成功的时候,但却不总是这样的。如果你正在计划使用一个超大数据量的项目,而且需要事务处理或外键支持,那么你真的应该直接使用InnoDB方 式。但需要记住InnoDB 的表需要更多的内存和存储,转换100GB 的MyISAM 表到InnoDB 表可能会让你有非常坏的体验。

区别总结:

  1. InnoDB不支持FULLTEXT类型的索引。

  2. InnoDB 中不保存表的具体行数,也就是说,执行select count() from table时,InnoDB要扫描一遍整个表来计算有多少行,但是MyISAM只要简单的读出保存好的行数即可。注意的是,当count()语句包含 where条件时,两种表的操作是一样的。

  3. 对于AUTO_INCREMENT类型的字段,InnoDB中必须包含只有该字段的索引,但是在MyISAM表中,可以和其他字段一起建立联合索引。

  4. DELETE FROM table时,InnoDB不会重新建立表,而是一行一行的删除。

  5. LOAD TABLE FROM MASTER操作对InnoDB是不起作用的,解决方法是首先把InnoDB表改成MyISAM表,导入数据后再改成InnoDB表,但是对于使用的额外的InnoDB特性(例如外键)的表不适用。

另外,InnoDB表的行锁也不是绝对的,如果在执行一个SQL语句时MySQL不能确定要扫描的范围,InnoDB表同样会锁全表,例如update table set num=1 where name like “%aaa%”

提升InnoDB性能的方法:

MyISAM和InnoDB存储引擎性能差别并不是很大,针对InnoDB来说,影响性能的主要是 innodb_flush_log_at_trx_commit 这个选项,如果设置为1的话,那么每次插入数据的时候都会自动提交,导致性能急剧下降,应该是跟刷新日志有关系,设置为0效率能够看到明显提升,当然,同 样你可以SQL中提交“SET AUTOCOMMIT = 0”来设置达到好的性能。另外,还听说通过设置innodb_buffer_pool_size能够提升InnoDB的性能,但是我测试发现没有特别明显 的提升。

基本上我们可以考虑使用InnoDB来替代我们的MyISAM引擎了,因为InnoDB自身很多良好的特点,比如事务支持、存储 过程、视图、行级锁定等等,在并发很多的情况下,相信InnoDB的表现肯定要比MyISAM强很多,当然,相应的在my.cnf中的配置也是比较关键 的,良好的配置,能够有效的加速你的应用。

任何一种表都不是万能的,只用恰当的针对业务类型来选择合适的表类型,才能最大的发挥MySQL的性能优势。

mysql通过ssl的方式生成秘钥具体生成步骤

— mysql ssl 生成秘钥

1、check ssl是否已经开启

mysql> show variables like '%ssl%'; 

+---------------+----------+ 

| Variable_name | Value | 

+---------------+----------+ 

| have_openssl | DISABLED | 

| have_ssl | DISABLED | 

| ssl_ca | | 

| ssl_capath | | 

| ssl_cert | | 

| ssl_cipher | | 

| ssl_crl | | 

| ssl_crlpath | | 

| ssl_key | | 

+---------------+----------+ 

9 rows in set (0.00 sec) 

2、没有开启,所以打开

在my.cnf末尾端设置ssl 参数, 然后重新启动mysql服务即可

mysql> show variables like '%ssl%'; 

+---------------+-------+ 

| Variable_name | Value | 

+---------------+-------+ 

| have_openssl | YES | 

| have_ssl | YES | 

| ssl_ca | | 

| ssl_capath | | 

| ssl_cert | | 

| ssl_cipher | | 

| ssl_crl | | 

| ssl_crlpath | | 

| ssl_key | | 

+---------------+-------+ 

9 rows in set (0.00 sec) 

3、通过openssl生成证书的配置, 在mysql db server上生成秘钥

mkdir -p /etc/mysql/newcerts/ 

cd /etc/mysql/newcerts/ 

3.1 openssl genrsa 2048 > ca-key.pem

3.2 openssl req -new -x509 -nodes -days 1000 -key ca-key.pem > ca-cert.pem

[root@mysql newcerts]# openssl req -new -x509 -nodes -days 1000 -key ca-key.pem > ca-cert.pem 

You are about to be asked to enter information that will be incorporated 

into your certificate request. 

What you are about to enter is what is called a Distinguished Name or a DN. 

There are quite a few fields but you can leave some blank 

For some fields there will be a default value, 

If you enter '.', the field will be left blank. 

----- 

Country Name (2 letter code) [XX]:ch 

State or Province Name (full name) []:shh 

Locality Name (eg, city) [Default City]:shh 

Organization Name (eg, company) [Default Company Ltd]:xx 

Organizational Unit Name (eg, section) []:db 

Common Name (eg, your name or your server''s hostname) []:mysql.yest.nos 

Email Address []:[email protected] 

3.3 openssl req -newkey rsa:2048 -days 1000 -nodes -keyout server-key.pem > server-req.pem

[root@mysql newcerts]# openssl req -newkey rsa:2048 -days 1000 -nodes -keyout server-key.pem > server-req.pem 

Generating a 2048 bit RSA private key 

.......................................................................................................+++ 

..........................................................+++ 

writing new private key to 'server-key.pem' 

----- 

You are about to be asked to enter information that will be incorporated 

into your certificate request. 

What you are about to enter is what is called a Distinguished Name or a DN. 

There are quite a few fields but you can leave some blank 

For some fields there will be a default value, 

If you enter '.', the field will be left blank. 

----- 

Country Name (2 letter code) [XX]:ch 

State or Province Name (full name) []:shh 

Locality Name (eg, city) [Default City]:ssh 

Organization Name (eg, company) [Default Company Ltd]:xx 

Organizational Unit Name (eg, section) []:db 

Common Name (eg, your name or your server''s hostname) []:mysql.yest.nos 

Email Address []:[email protected] 

Please enter the following 'extra' attributes 

to be sent with your certificate request 

A challenge password []:820923 

An optional company name []:xx 

4、在mysql db server客户端生成ssl文件

4.1 openssl x509 -req -in server-req.pem -days 1000 -CA ca-cert.pem -CAkey ca-key.pem -set_serial 01 > server-cert.pem

[root@mysql newcerts]# openssl x509 -req -in server-req.pem -days 1000 -CA ca-cert.pem -CAkey ca-key.pem -set_serial 01 > server-cert.pem 

Signature ok 

subject=/C=ch/ST=shh/L=ssh/O=ea/OU=db/CN=mysql.yest.nos/[email protected] 

Getting CA Private Key 

4.2 openssl req -newkey rsa:2048 -days 1000 -nodes -keyout client-key.pem > client-req.pem

[root@mysql newcerts]# openssl req -newkey rsa:2048 -days 1000 -nodes -keyout client-key.pem > client-req.pem 

Generating a 2048 bit RSA private key 

.......+++ 

........................................................+++ 

writing new private key to 'client-key.pem' 

----- 

You are about to be asked to enter information that will be incorporated 

into your certificate request. 

What you are about to enter is what is called a Distinguished Name or a DN. 

There are quite a few fields but you can leave some blank 

For some fields there will be a default value, 

If you enter '.', the field will be left blank. 

----- 

Country Name (2 letter code) [XX]:ch 

State or Province Name (full name) []:shh 

Locality Name (eg, city) [Default City]:shh 

Organization Name (eg, company) [Default Company Ltd]:xx 

Organizational Unit Name (eg, section) []:db 

Common Name (eg, your name or your server''s hostname) []:mysql.yest.nos 

Email Address []:[email protected] 

Please enter the following 'extra' attributes 

to be sent with your certificate request 

A challenge password []:820923 

An optional company name []:xx 

4.3 openssl x509 -req -in client-req.pem -days 1000 -CA ca-cert.pem -CAkey ca-key.pem -set_serial 01 > client-cert.pem

[root@mysql newcerts]# openssl x509 -req -in client-req.pem -days 1000 -CA ca-cert.pem -CAkey ca-key.pem -set_serial 01 > client-cert.pem 

Signature ok 

subject=/C=ch/ST=shh/L=shh/O=ea/OU=db/CN=mysql.yest.nos/[email protected] 

Getting CA Private Key 

5、[]copy clent.* 3个文件到客户端机器上面/opt/mysql/ssl/去。

6、登陆验证

mysql -uxxx -pxxxx --ssl-ca=/opt/mysql/ssl/ca-cert.pem --ssl-cert=/opt/mysql/ssl/server-cert.pem --ssl-key=/opt/mysql/ssl/server-key.pem 

批量清除128组节点db上面过期的binlog释放磁盘空间实现思路

如果10台以内的db的话,自己手动ssh进去,clean就足以,但是上百台呢,就要写脚本了。大概思路:在 一台db跳转机上面, 写一个脚本,访问slave,远程获取正在复制的master上面的binlog位置, 然后再远程去purge master上面的binlog.

  1. 建立slave dbserver列表 slavelist; 一个slave一行。

  2. 远程获取slave db上面的binlog位置以及slave的master主机名(也许是ip地址)

  3. 拿到binlog位置以及master主机名,然后ssh远程清理掉master上面的binlog

  4. shell for循环操作step 2以及step 3。

附带脚本1:clean_binlog.sh

#!/bin/bash 
# p1 the slave mysql db server 
db03=$1 
echo $dbserver; 
ster_Log_File=`ssh $db03 " mysql -uxx -pxx --ssl-ca=/opt/mysql/ssl/ca-cert.pem --s 
sl-cert=/opt/mysql/ssl/server-cert.pem --ssl-key=/opt/mysql/ssl/server-key.pem -e "show slave statusG;" |grep -i master_Log_File 
"`; 
# echo ##### 获取binlog信息 
log_file=`echo $ster_Log_File | awk '{print $2}'`; 
db01tmp=`ssh $db03 " mysql -uxx -pxx --ssl-ca=/opt/mysql/ssl/ca-cert.pem --s 
sl-cert=/opt/mysql/ssl/server-cert.pem --ssl-key=/opt/mysql/ssl/server-key.pem -e "show slave statusG;" |grep -i Master_Host 
"`; 
# 获取master主机名或者ip地址 
db01=`echo $db01tmp | awk '{print $2}'` 
# 开始清理binlog日志信息 
ssh $db01 " mysql -uxxx -pxx --ssl-ca=/opt/mysql/ssl/ca-cert.pem --ssl-cert=/op 
t/mysql/ssl/server-cert.pem --ssl-key=/opt/mysql/ssl/server-key.pem -e "purge master logs to '$log_file';" " 
# check master上面的binlog信息 
ssh $db01 " df -h /mysql/binlog "; 
<STRONG><SPAN style="COLOR: #ff0000"></SPAN></STRONG>   

附带批量for循环脚本2:

for s in `cat slavelist`; do sh clean_binlog.sh $s; done 

这个是比较粗略的方案,肯定有不足之处,我的128组是mm组合,所以这样操作是可以的,架构不同估计会有变动,这里还涉及到purge之前的binlog的备份等等(有专门的备份机以及备份脚本)。

解析MYSQL显示表信息的方法

在用mysql时(show tables),有时候需要查看表和字段的相关信息(表与某字段是否存在等.)~~而PHP提供了这样的相关函数,如:mysql_list_dbs(),mysql_list_fields(),但mysql_list_fields() 函数等已过时,所以要用show…这个SQL指令来查寻。

SHOW 指令(‘[..]’里的可选)

#显示mysql中所有数据库的名称

show databases;

#显示mysql中的相关表

show tables [ from db_name]

#显示数据表表状态信息

show table status

#查看存储过程状态

show procedure status

#列出表字段完整属性

show full fields from tbl_name

#显示表中列名称

show columns from table_name [ from database_name ] ; 或show columns from database_name.table_name;

#显示一个用户的权限,显示结果类似于grant 命令

show grants for user_name;

#列出表索引

show index from tbl_name

#显示表的索引

show index from table_name

#显示一些系统特定资源的信息,例如,正在运行的线程数量

show status [from   db_name]

#显示系统变量的名称和值

show [ global] variables

#显示系统中正在运行的所有进程,也就是当前正在执行的查询大多数用户可以查看他们自己的进程,但是如果他们拥有process权限,就可以查看所有人的进程,包括密码

show processlist

#显示当前使用或者指定的database中的每个表的信息信息包括表类型和表的最新更新时间

show table status

#显示服务器所支持的不同权限

show privileges

#显示create database 语句是否能够创建指定的数据库

show create database database_name

#显示create database 语句是否能够创建指定的数据库

show create table table_name

#显示安装以后可用的存储引擎和默认引擎

show engies

#显示innoDB存储引擎的状态

show innodb status

#显示BDB存储引擎的日志

show logs   -----这个已经被遗弃了

#显示最后一个执行的语句所产生的错误、警告和通知

show warnings

#只显示最后一个执行语句所产生的错误

show errors

#显示安装后的可用存储引擎和默认引擎

show [storage] engines;

============================================================

mysqlshow,该指令只参显示数据库、表、列的信息

例如:mysqlshow -uroot -pXXXX mysql #显示mysql数据库的信息

例如:mysqlshow -uroot -pXXXX mysql user #显示mysql数据库中user表的信息

例如:mysqlshow -uroot -pXXXX mysql user user #显示mysql数据库中user表中的user列的信息

探讨Mysql中OPTIMIZE TABLE的作用详解

当您的库中删除了大量的数据后,您可能会发现数据文件尺寸并没有减小。这是因为删 除操作后在数据文件中留下碎片所致。Discuz! 在系统数设置界面提供了数据表优化的功能,可以去除删除操作后留下的数据文件碎片,减小文件尺寸,加快未来的读写操作。您只要在做完批量删除,或定期(如 每一两个月)进行一次数据表优化操作即可。

OPTIMIZE TABLE通过制作原来的表的一个临时副本来工作

OPTIMIZE TABLE语法

OPTIMIZE [LOCAL | NO_WRITE_TO_BINLOG] TABLE tbl_name [, tbl_name] ...

如果您已经删除了表的一大部分,或者如果您已经对含有可变长度行的表(含有 VARCHAR, BLOB或TEXT列的表)进行了很多更改,则应使用OPTIMIZE TABLE。被删除的记录被保持在链接清单中,后续的INSERT操作会重新使用旧的记录位置。您可以使用OPTIMIZE TABLE来重新利用未使用的空间,并整理数据文件的碎片。

在多数的设置中,您根本不需要运行OPTIMIZE TABLE。即使您对可变长度的行进行了大量的更新,您也不需要经常运行,每周一次或每月一次即可,只对特定的表运行。

OPTIMIZE TABLE只对MyISAM, BDB和InnoDB表起作用。

对于MyISAM表,OPTIMIZE TABLE按如下方式操作:

  1. 如果表已经删除或分解了行,则修复表。

  2. 如果未对索引页进行分类,则进行分类。

  3. 如果表的统计数据没有更新(并且通过对索引进行分类不能实现修复),则进行更新。

对于BDB表,OPTIMIZE TABLE目前被映射到ANALYZE TABLE上。对于InnoDB表,OPTIMIZE TABLE被映射到ALTER TABLE上,这会重建表。重建操作能更新索引统计数据并释放成簇索引中的未使用的空间。请参见13.5.2.1节,“ANALYZE TABLE语法”。

使用—skip-new或—safe-mode选项可以启动mysqld。通过启动mysqld,您可以使OPTIMIZE TABLE对其它表类型起作用。

注意,在OPTIMIZE TABLE运行过程中,MySQL会锁定表。

OPTIMIZE TABLE语句被写入到二进制日志中,除非使用了自选的NO_WRITE_TO_BINLOG关键词(或其别名LOCAL)。已经这么做了,因此,用于 MySQL服务器的OPTIMIZE TABLE命令的作用相当于一个复制主服务器,在默认情况下,这些命令将被复制到复制从属服务器中。