基于MySQL的数据库集群系统的实现

2024-07-24 12:54:40

字体：大中小

来源：转载

供稿：网友

您的webapp系统是否正在使用一个mysql的数据库系统？您的客户是不是总是抱怨页面结果反馈的非常慢？您的mysql系统的负载是不是总是维持在一个非常高的状态下？本文将为您提供一个分担mysql系统的负载的方法，以及由此派生出来的一个mysql-ha-proxy的开发项目。使用本文提供的方法，您将以最小的源代码改动，获得mysql系统的高效运转。

第一节数据库集群技术的现状

目前数据库集群系统应用得比较成功，应用范围比较广泛的是：oracle公司的oracle9与ibm公司db2。oracle9采用shared-storage的技术，db2选择了shared-nothing的技术，二者各有长短。

最新的数据库集群系统的理论基础是分布式计算，将数据分布到每个节点，所有的计算节点并行处理数据，将结果汇总。这样的方式无疑是最完美的。但是目前仍然不能实现全部的功能。

对于shared-storage以及shared-nothing的技术请参考oracle以及ibm网站上的相关资料。

第二节目前数据库应用状况

目前数据库应用状况大致分为两类，第一类是数据量在100g以下，数据库访问频繁，请求密集。主要是web app类型的应用，例如：网站，论坛等。这些web app类型的应用访问数据库的特点是：访问频繁，数据库每秒钟要接受几千次以上的查询，需要经常追加数据，同时对数据的响应速度要求比较高。另一类是用于科学计算、存储历史数据的应用，数据量往往达到几百g。这些应用访问数据库的特点是：多为查询操作，数据都是分批、定时、集中倒入数据库，数据库的记录非常多，积累了大量的数据，对数据库的响应速度没有太高要求。

第三节暴露出来的问题

第一类应用，由于访问比较频繁，而且为了支持更多的访问，web server一般都使用了负载均衡的集群，但是对于数据库来说，由于无法实现集群操作，每秒钟的请求不断增加，随着服务器负载的增加，响应单个请求的速度越来越慢，如果库文件比较大，出现写操作的时候还会出现锁表时间过长等影响访问效率的事情。

第二类应用，主要是数据文件太大，每次处理数据都需要大量的时间，如果写错一个语句就需要花几个小时来重做查询。

第四节如何解决

首先应当从硬件、软件、程序、索引、sql语句这几个方面进行优化，如果仍然不能解决问题，我们就要考虑数据库系统的集群（并行处理）了。

对于第一类的应用，在数据库服务器正常运行，负载不高的情况下，应用对数据库系统的状况还是满意的。但是数据库系统负载过高之后，就会出现完成请求的时间加长，达不到系统的要求时间。既然负载是由于过多的请求造成的，我们就采取分担请求的方式，让一部分的请求去访问另外一台服务器，让单台服务器的负载降低，从而解决问题。

对于第二类的应用，就需要分布式计算的系统来解决了，一般的系统是无能为力了。

第五节针对于"linux+apache+php+mysql"的第一类应用问题的解决方式

一个实际案例的解决：

我在工作当中遇到了这样的问题，我们的web server是linux+apache+php的三台机器组成的集群，mysql运行在sun450，2g内存的平台上。由于web的访问量在高峰的时候几乎满负荷运转，loadavg(就是一分钟之内处于running状态的进程数量)都在10-20之间，反映出来就是大量的请求都在访问数据库的时候被挂住了，导致一个请求没有完成，下一个请求又进来，最后恶性循环。loadavg会在瞬间飙升至800以上。数据库那边就更糟糕了，loadavg达到300多，数据库的线程非常多，cpu忙于切换线程状态，这个时候除非restart mysql，否则怎么都不会好。在对sql语句优化完成后还是不能很好的解决问题，我们增加了一台数据库服务器，通过mysql的数据同步机制，让两台数据库上的数据保持同步，修改了一部分只会发生读取操作的php程序，让这些程序连接另外一台数据库，算是把负载分离出去一部分，问题得到了初步的解决。但是后来业务做大，我们又增加了多台服务器，修改了很多程序，分离他们对数据库的读取操作，访问不同的服务器。

第六节 mysql-ha-proxy方案的提出

通过修改程序的方式实现将系统的负载分离，是件很痛苦的事情，工程浩大，而且不能弄错，因为除了主服务器可以写入、修改数据，而其它的服务器只能通过数据同步更新自身的数据，所以如果你对那些数据库进行了写操作，结果将是灾难性的。

如果我们能够有一个程序分拣sql语句，根据他的类型（读取/写入），分别传送给不同的服务器，然后再将结果返回。采用一种类似http的proxy的方式，这样我们就不需要通过修改源程序的方式来分担负载了，如果再能够根据服务器的负载状况，或者是表的状态（可用/锁定），来判断应该将这个请求分配到哪台服务器，那就比我们修改源程序所能达到的效果还要好。

第七节 mysql client与server之间如何通信

四处寻找，也没有找到一篇关于mysql通讯协议的文章，看来只有分析mysql的源程序了。于是找来mysql 3.23.49的代码，打开sniffer工具。mysql的通讯协议可能变更过多次，在3.23.49的版本里面，通讯协议的版本竟然是10。

简单的分析了一下通讯协议，现在规整如下，有些地方还不是很完善，由于我实在没有太多的时间仔细研读mysql的代码，目前我只了解到了这些。

偏移区域类型长度(byte)说明0headdata length3 1 2 3 flag1=0普通信息
=1多段信息
=2认证返回
>2段结束字4datacmd code1 5 messagedatalength - 1

当flag=0 , 2的时候 cmd code 与 message 的定义

cmdcode类型message的结构00状态码偏移类型length(byte) 0affect rows2 0a服务器版本号偏移类型length(byte) 只有在刚刚连接上server的时候有效，server会马上返回一个数据节段的信息0versionstring8end of '/0' 8session id432bits 12unknown11 ff当出现错误的时候返回信息偏移类型length(byte) 0errcode2 2errmsgend fe多段信息传输的结束空

client对server提交数据的格式：

偏移区域类型length(byte)0headdata length31 2 3 compressed14datacommand id15command datadata length - 1

command id与command data的说明：

id 类型数据格式0com_sleep 1com_quitnull2com_init_dbdatabase name3com_querystand query string4com_field_listtable name [128] wildcard[128]5com_create_dbdatabase name6com_drop_dbdatabase name7com_refreshoptions(bits)8com_shutdownnull9com_statisticsnull10com_process_infonull11com_connect 12com_process_killsid[4]13com_debugnull14com_pingnull15com_time 16com_delayed_insert 17com_change_user[user][passwd][db]18 com_binlog_dump 19com_table_dump 20com_connect_out
第八节 client如何通过server的用户认证

协议分析完成了，我尝试着让它工作起来，可是认证这个部分遇到了麻烦，mysql server在client连接上它的时候，会首先返回给client一个数据包，包含协议的版本号，版本信息，sessionid，一个8字节的key，就是这个key的原因。client会使用这个key来加密密码，然后将用户名，密码，需要打开的数据库等信息发送给server，这样就完成认证了。我不知道client是如何利用这个key来加密的，所以我打算跳过密码，我将client的数据包重组，去掉password的信息之后，我成功了，但是集群里面的mysql用户都是没有密码的，安全性多多少少有些问题，不过这些服务器都是放在ha后面的，没有外部的ip地址，应该问题不大，不过多多少少是个缺憾。

但是我总要知道用户的密码是否正确吧？怎么办呢？使用一个专用的mysql来完成密码认证。安装一个最小化资源的mysql server用来做mysqlauth（专用认证服务器），当client连接后，就将mysqlauth的第一个数据包返回给client，这里面当然就包含着key，然后client会使用这个key，加密密码之后，将认证信息发回来，这个时候，mysqlha系统就会将这个信息转发给mysqlauth，并且自己保留一份，如果认证通过了，就把保留的那一份进行重组，去掉密码信息，然后用重组后的认证信息去连接集群中的服务器。

本文来源于网页设计爱好者web开发社区http://www.html.org.cn收集整理，欢迎访问。

上一篇：值得关注的MySQL 4.1.1进展 (第一部分)

下一篇：谈php+mysql注射语句构造