MongoDB分片原理及架构详解

  • MongoDB分片原理及架构详解已关闭评论
  • 134 次浏览
  • A+
所属分类:linux技术
摘要

MongoDB分片是指将数据库拆分成多份,把它们分散到不同的机器上,从而实现不需要功能强大的服务器就可以存储更多的数据和处理更多的请求。

什么是MongoDB分片


MongoDB分片是指将数据库拆分成多份,把它们分散到不同的机器上,从而实现不需要功能强大的服务器就可以存储更多的数据和处理更多的请求。

MongoDB分片的基本思想就是将集合切分成小块,这些块分散到若干分片里面,每个分片只负责总数据的一部分。

对于应用程序来说,不必知道哪个分片对应哪些数据,甚至不需要知道数据已经被分片。当应用程序查询数据时,只需要连接一个前置路由即可。这个前置路由通过查询配置服务器获取数据所在的目标分片,从而获取目标数据。

MongoDB分片的目的


高数据量和吞吐量的数据库应用会对单机的性能造成较大压力,大的查询量会将单机的CPU耗尽,大的数据量对单机的存储压力较大,最终会耗尽系统的内存而将压力转移到磁盘IO上。

为了解决这些问题,有两个基本的方法: 垂直扩展和水平扩展。

垂直扩展:增加更多的CPU和存储资源来扩展容量。

水平扩展:将数据集分布在多个服务器上,水平扩展即分片。

分片为应对高吞吐量与大数据量提供了方法。使用分片减少了每个分片需要处理的请求数,因此,通过水平扩展,集群可以提高自己的存储容量和吞吐量。举例来说,当插入一条数据时,应用只需要访问存储这条数据的分片。

使用分片减少了每个分片存储的数据。例如,如果数据库1TB的数据集,并有4个分片,然后每个分片可能仅持有256 GB的数据。如果有40个分片,那么每个切分可能只有25GB的数据。

MongoDB分片原理及架构详解

MongoDB分片架构


MongoDB分片原理及架构详解

MongoDB分片架构中,有三个角色:

  • Mongos :就是上面提到的路由器,是和客户端打交道的模块。Mongos本身没有任何数据,它也不知道该怎么处理这数据,而是通过Config Server来获取;
  • Config Server:配置服务器,所有Shard节点的信息、分片功能的一些配置信息都存储在Config Server里,可以理解为真正数据的元数据;
  • Sh

ard:真正数据存储的位置,以Chunk为单位存储。

 

Mongos本身并不持久化数据,所有Shard集群的元数据都会存储到Config Server里,而用户的数据会分散存储到各个Shard。Mongos启动后,会从Config Server加载元数据,开始提供服务,将用户的请求正确路由到对应的分片上。

Shard Key


可以说,Shard Key(中文翻译成片键)是MongoDB实现分片的依仗!

MongoDB中数据的分片以集合为基本单位,集合中的数据通过Shard Key被分成多部分。其实Shard Key就是在集合中选了一个键,用该键的值作为数据拆分的依据。

举个例子,假设有个存储人员信息的文档集合,如果选择名字"name"作为Shard Key,那么第一分片可能会存放名字以 A-F 开头的文档。第二分片存 G-P 开头的文档,第三分片存Q-Z的文档。

一个好的Shard Key对分片至关重要。

有一点需要注意,一个自增的Shard Key对写入和数据均匀分布不是很友好,因为自增的Shard Key总会在一个分片上写入,后续达到某个阀值才可能会写到别的分片上。但是反过来讲,按Shard Key查询(读取)会非常高效。