MongoDB分片集群是啥？一文带你搞明白原理及搭建

2024-09-07 00:22:35

字体：大中小

来源：转载

供稿：网友

　　我们知道mongodb是分布式文档存储数据库，而mongodb部署架构分为单机，可复制集和分片群集。其中，分片群集是比较复杂，而且运维难度比较高的。很多人对于mongodb分片集群都不是很理解，这篇文章就给大家介绍一下MongoDB分片集群的问题。

　　1、什么是分片？为什么要分片？

　　我们知道数据库服务器一般出现瓶颈是在磁盘io上，或者高并发网络io，又或者单台server的cpu、内存等等一系列原因。于是，为了解决这些瓶颈问题，我们就必须扩展服务器性能；通常扩展服务器有向上扩展和向外扩展，所谓向上扩展就是给服务器加更大的磁盘，使用更大更好的内存，更换更好的cpu。这种扩展在一定程度上是可以解决性能瓶颈问题，但随着数据量大增大，瓶颈会再次出现；所以通常这种向上扩展的方式不推荐。

　　向外扩展是指一台服务器不够加两台，两台不够加三台，以这种方式扩展，只要出现瓶颈我们就可以使用增加服务器来解决；这样一来服务器性能解决了，但用户的读写怎么分散到多个服务器上去呢？所以我们还要想办法把数据切分成多块，让每个服务器只保存整个数据集的部分数据，这样一来使得原来一个很大的数据集就通过切片的方式，把它切分成多分，分散的存放在多个服务器上，这就是分片。

　　2、数据集分片示意图

　　提示：我们通过分片，可以将原本1T的数据集，平均分成4分，每个节点存储原有数据集的1/4，使得原来用一台服务器处理1T的数据，现在可以用4台服务器来处理，这样一来就有效的提高了数据处理过程；这也是分布式系统的意义；在mongodb中我们把这种共同处理一个数据集的部分数据的节点叫shard，我们把使用这种分片机制的mongodb集群就叫做mongodb分片集群；

　　3、mongodb分片集群架构

　　提示：在mongodb分片集群中，通常有三类角色，第一类是router角色，router角色主要用来接收客户端的读写请求，主要运行mongos这个服务；为了使得router角色的高可用，通常会用多个节点来组成router高可用集群；第二类是config server，这类角色主要用来保存mongodb分片集群中的数据和集群的元数据信息，有点类似mogilefs中的tracker的作用；为了保证config server的高可用性，通常config server也会将其运行为一个副本集；第三类是shard角色，这类角色主要用来存放数据，类似mogilefs的数据节点，为了保证数据的高可用和完整性，通常每个shard是一个副本集；

　　4、mongodb分片集群工作过程

　　首先用户将请求发送给router，router接收到用户请求，然后去找config server拿对应请求的元数据信息，router拿到元数据信息后，然后再向对应的shard请求数据，最后将数据整合后响应给用户；在这个过程中router 就相当于mongodb的一个客户端代理；而config server用来存放数据的元数据信息，这些信息主要包含了那些shard上存放了那些数据，对应的那些数据存放在那些shard上，和mogilefs上的tracker非常类似，主要存放了两张表，一个是以数据为中心的一张表，一个是以shard节点为中心的一张表；

　　5、mongodb是怎么分片的？

　　在mongodb的分片集群中，分片是按照collection字段来分的，我们把指定的字段叫shard key；根据shard key的取值不同和应用场景，我们可以基于shard key取值范围来分片，也可以基于shard key做hash分片；分好片以后将结果保存在config server上；在configserver 上保存了每一个分片对应的数据集；比如我们基于shardkey的范围来分片，在configserver上就记录了一个连续范围的shardkey的值都保存在一个分片上；

　　除了上述两种切片的方式以外，我们还可以根据区域切片，也叫基于列表切片，

　　上图主要描述了基于区域分片，这种分片一般是针对shardkey的取值范围不是一个顺序的集合，而是一个离散的集合，比如我们可用这种方式对全国省份这个字段做切片，把流量特别大的省份单独切一个片，把流量小的几个省份组合切分一片，把国外的访问或不是国内省份的切分为一片；这种切片有点类似给shardkey做分类；不管用什么方式去做分片，我们尽可能的遵循写操作要越分散越好，读操作要越集中越好；

　　6、mongodb分片集群搭建

　　基础环境，各server做时间同步，关闭防火墙，关闭selinux，ssh互信，主机名解析

　　主机名解析

[root@node01 ~]# cat /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1   localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.0.99 time.test.org time-node
192.168.0.41 node01.test.org node01
192.168.0.42 node02.test.org node02
192.168.0.43 node03.test.org node03
192.168.0.44 node04.test.org node04
192.168.0.45 node05.test.org node05
192.168.0.46 node06.test.org node06
192.168.0.47 node07.test.org node07
192.168.0.48 node08.test.org node08
192.168.0.49 node09.test.org node09
192.168.0.50 node10.test.org node10
192.168.0.51 node11.test.org node11
192.168.0.52 node12.test.org node12
[root@node01 ~]#
　　准备好基础环境以后，配置mongodb yum源

[root@node01 ~]# cat /etc/yum.repos.d/mongodb.repo
[mongodb-org]
name = MongoDB Repository
baseurl = https://mirrors.aliyun.com/mongodb/yum/redhat/7/mongodb-org/4.4/x86_64/
gpgcheck = 1
enabled = 1
gpgkey = https://www.mongodb.org/static/pgp/server-4.4.asc
[root@node01 ~]#
　　将mongodb yum源复制给其他节点

[root@node01 ~]# for i in {02..10} ; do scp /etc/yum.repos.d/mongodb.repo node$i:/etc/yum.repos.d/; done
mongodb.repo                 100% 206 247.2KB/s 00:00
mongodb.repo                 100% 206 222.3KB/s 00:00
mongodb.repo                 100% 206 118.7KB/s 00:00
mongodb.repo                 100% 206 164.0KB/s 00:00
mongodb.repo                 100% 206 145.2KB/s 00:00
mongodb.repo                 100% 206 119.9KB/s 00:00
mongodb.repo                 100% 206 219.2KB/s 00:00
mongodb.repo                 100% 206 302.1KB/s 00:00
mongodb.repo                 100% 206 289.3KB/s 00:00
[root@node01 ~]#

（编辑：武林网）

上一篇：mongodb查找耗时的办法是什么？

下一篇：MongoDB如何限制对内存使用及查看内存运用情况？