mysql大数据分库和分表 php解决方案

2024-07-24 12:35:23

字体：大中小

来源：转载

供稿：网友

　　当Mysql数据量过大时,就会面临压力分解,这时分库分表是一个不错的解决方案,现在我们就来谈谈Mysql如何分库分表比较理想,然后再用php如何调用.

　　1，主从复制,读写分离

　　对主库修改数据,查询使用从库,一主多从,来降低数据库读取压力.

　　2，分库分表

　　根据实体业务来分库,分表,如,根据数据的活跃性,根据用户uid等.

　　3，mysql 不同存储引擎区别

　　InnoDB 用于数据完整性/写性能要求比较高的应用. MyISAM 适合查询应用.

　　分表是分散数据库压力的好方法.

　　分表,最直白的意思,就是将一个表结构分为多个表,然后,可以再同一个库里,也可以放到不同的库.

　　当然,首先要知道什么情况下,才需要分表,个人觉得单表记录条数达到百万到千万级别时就要使用分表了.

　　1，分表的分类

　　1>纵向分表

　　将本来可以在同一个表的内容,人为划分为多个表,所谓的本来,是指按照关系型数据库的第三范式要求,是应该在同一个表的.

　　分表理由:根据数据的活跃度进行分离,因为不同活跃的数据,处理方式是不同的.

　　案例:对于一个博客系统，文章标题，作者，分类，创建时间等，是变化频率慢，查询次数多，而且最好有很好的实时性的数据，我们把它叫做冷数据。而博客的浏览量，回复数等，类似的统计信息，或者别的变化频率比较高的数据，我们把它叫做活跃数据。所以，在进行数据库结构设计的时候，就应该考虑分表，首先是纵向分表的处理。

　　这样纵向分表后:

　　首先存储引擎的使用不同，冷数据使用MyIsam 可以有更好的查询数据。活跃数据，可以使用Innodb ,可以有更好的更新速度。

　　其次，对冷数据进行更多的从库配置，因为更多的操作时查询，这样来加快查询速度。对热数据，可以相对有更多的主库的横向分表处理。

　　其实，对于一些特殊的活跃数据，也可以考虑使用memcache ,redis

　　之类的缓存，等累计到一定量再去更新数据库。或者mongodb 一类的nosql 数据库，这里只是举例，就先不说这个。

　　2>横向分表

　　字面意思，就可以看出来，是把大的表结构，横向切割为同样结构的不同表，如，用户信息表，user_1,user_2 等。表结构是完全一样，但是，根据某些特定的规则来划分的表，如根据用户ID来取模划分。

　　分表理由：根据数据量的规模来划分，保证单表的容量不会太大，从而来保证单表的查询等处理能力。

　　案例：同上面的例子，博客系统。当博客的量达到很大时候，就应该采取横向分割来降低每个单表的压力，来提升性能。例如博客的冷数据表，假如分为100个表，当同时有100万个用户在浏览时，如果是单表的话，会进行100万次请求，而现在分表后，就可能是每个表进行1万个数据的请求（因为，不可能绝对的平均，只是假设），这样压力就降低了很多很多。

　　1，背景:一个地址薄的应用程序，设计的用户量为2亿，统计出每个用户的地址薄为30个左右，整个数据量为60亿，使用mysql数据库（亿级数据库设计）

　　计划分为：1000个表，100个库

　　2，分库分表代码

　　private function getDbNo($email)
　　{
　　    $m = md5($email);
　　    $n = hexdec(substr($m, 0, 16));
　　    $tableNo = fmod($n, 1000);
　　    $dbNo = $tableNo % 100;
　　    return array($dbNo, $tableNo);
　　}
　　3，配合的连接访问代码

　　require_once ‘Db/Config.php’;
　　
　　class Db_Adapter
　　{
　　    const MASTER    = 0;
　　    const SLAVE     = 1;
　　
　　    private static $instances = array();
　　
　　    private $conf = array();
　　
　　    private $conns = array();
　　
　　    private $conn = NULL;
　　    private $stmt = NULL;
　　    public function __construct($conf)
　　    {
　　        $this->conf = $conf;
　　    }
　　
　　    public function execute($sql, $params)
　　    {
　　        $cmd = substr(strtolower(trim($sql)), 0, 6);
　　        if ($cmd == ‘select’) {
　　            $conn = $this->getConn(self::SLAVE);
　　        } else {
　　            $conn = $this->getConn(self::MASTER);
　　        }
　　
　　        $conn->prepare($sql);
　　        $stmt = $conn->execute($params);
　　
　　        $this->conn = $conn;
　　        $this->stmt = $stmt;
　　    }
　　
　　    public function fetch()
　　    {
　　        return $this->stmt->fetch();
　　    }
　　
　　    public function fetchAll()
　　    {
　　        return $this->stmt->fetchAll();
　　    }
　　
　　    public function lastInsertId($name = NULL)
　　    {
　　        return $this->conn->lastInsertId($name);
　　    }
　　
　　    public function rowCount()
　　    {
　　        return $this->stmt->rowCount();
　　    }
　　
　　    private function getConn($type)
　　    {
　　        if ($type == self::SLAVE && isset($this->conf[self::SLAVE])) {
　　            $id = 0;
　　        } else {
　　            $id = 1;
　　        }
　　
　　        if (!isset($this->conns[$id])) {
　　            $conf = $this->conf[$id];
　　            $this->conns[$id] = new PDO(
　　                $conf['dsn'], $conf['user'], $conf['pass'],
　　                self::dbOptions);
　　        }
　　
　　        return $this->conns[$id];
　　    } //phpfensi.com
　　
　　    public static function getInstance($dbName, $dbNo = 0)
　　    {
　　        $key = $dbName . ‘_’ . $dbNo;
　　        if (!isset(self::$instances[$key])) {
　　            $conf = Db_Config::getConfig($dbName, $dbNo); //连接配置参数
　　            self::$instances[$key] = new self($conf);
　　        }
　　
　　        return self::$instances[$key];
　　    }
　　}
　　4，潜在问题

　　如果某个表中的那些用户的地址薄联系人超多,如每个人1000个,则可能出现该表超大,需要把该表区分为子表,暂时没有配置中心来处理该情况.

　　若真的出现该情况,在连接参数这个地方继续作一次hash.

（编辑：武林网）

上一篇：mysql中安全删除binlog日志使用binlog恢复数据

下一篇：Mysql 如何存储唯一识别码UUID