mongodb 集群搭建（分片+副本集）

1.集群组件介绍

mongos，数据库集群请求的入口，所有的请求都通过mongos进行协调，不需要在应用程序添加一个路由选择器，mongos自己就是一个请求分发中心，它负责把对应的数据请求请求转发到对应的shard服务器上。在生产环境通常有多mongos作为请求的入口，防止其中一个挂掉所有的mongodb请求都没有办法操作。

config server，顾名思义为配置服务器，存储所有数据库元信息（路由、分片）的配置。mongos本身没有物理存储分片服务器和数据路由信息，只是缓存在内存里，配置服务器则实际存储这些数据。mongos第一次启动或者关掉重启就会从 config server 加载配置信息，以后如果配置服务器信息变化会通知到所有的 mongos 更新自己的状态，这样 mongos 就能继续准确路由。在生产环境通常有多个 config server 配置服务器，因为它存储了分片路由的元数据，防止数据丢失！

shard，分片（sharding）是指将数据库拆分，将其分散在不同的机器上的过程。将数据分散到不同的机器上，不需要功能强大的服务器就可以存储更多的数据和处理更大的负载。基本思想就是将集合切成小块，这些块分散到若干片里，每个片只负责总数据的一部分，最后通过一个均衡器来对各个分片进行均衡（数据迁移）。

replica set，中文翻译副本集，其实就是shard的备份，防止shard挂掉之后数据丢失。复制提供了数据的冗余备份，并在多个服务器上存储数据副本，提高了数据的可用性， 并可以保证数据的安全性。

仲裁者（Arbiter），是复制集中的一个MongoDB实例，它并不保存数据。仲裁节点使用最小的资源并且不要求硬件设备，不能将Arbiter部署在同一个数据集节点中，可以部署在其他应用服务器或者监视服务器中，也可部署在单独的虚拟机中。为了确保复制集中有奇数的投票成员（包括primary），需要添加仲裁节点做为投票，否则primary不能运行时不会自动切换primary。

简单了解之后，我们可以这样总结一下，应用请求mongos来操作mongodb的增删改查，配置服务器存储数据库元信息，并且和mongos做同步，数据最终存入在shard（分片）上，为了防止数据丢失同步在副本集中存储了一份，仲裁在数据存储到分片的时候决定存储到哪个节点。

2.部署

环境准备

系统系统 centos6.8
三台服务器：192.168.15.1/2/3

服务规划：

端口分配：

mongos：1000
config：1100
shard1：2000
shard2：3000
shard3：4000

在服务器（1/2/3）上相关创建文件

mkdir -p /data/server/configserver/data && mkdir -p /data/server/configserver/log

mkdir -p /data/server/shard1/data && mkdir -p /data/server/shard1/log

mkdir -p /data/server/shard2/data && mkdir -p /data/server/shard2/log

mkdir -p /data/server/shard3/data && mkdir -p /data/server/shard3/log

mkdir -p /data/server/mongos/log

创建配置中心

模块配置及启动：
configserver(192.168.15.1/2/3)配置及服务启动:

编写 /usr/local/mongodb/conf/configServer.conf，将参数都放在该文件中：

vim /usr/local/mongodb/conf/configServer.conf

#!/bin/bash
systemLog:
destination: file
path: "/data/server/configserver/log/configserver.log"            #日志存储位置
logAppend: true
storage:
journal:                                                          #journal配置
enabled: true
dbPath: "/data/server/configserver/data"                          #数据文件存储位置
directoryPerDB: true                                              #是否一个库一个文件夹
engine: wiredTiger                                                #数据引擎
wiredTiger:                                                       #WT引擎配置
engineConfig:
cacheSizeGB: 8                                                    #设置为8G,默认为物理内存的一半
directoryForIndexes: true                                         #是否将索引也按数据库名单独存储
journalCompressor: zlib
collectionConfig:                                                 #表压缩配置
blockCompressor: zlib
indexConfig:                                                      #索引配置
prefixCompression: true
net:                                                              #端口配置
port: 1101   
processManagement:                                                #配置启动管理方式
fork: true
sharding:                                                         #分片配置
clusterRole: configsvr                                            #分片角色

启动（1/2/3）：

/usr/local/mongodb/bin/mongod -f /usr/local/mongodb/conf/configserver.conf

初始化副本集

登录任意一台配置服务器，初始化配置副本集

连接
/usr/local/mongodb/bin/mongod --port 1100

config变量

输入：config = { _id : "configs", members : [ {_id : 0, host : "192.168.15.153:1100" }, {_id : 1, host : "192.168.15.154:1100" }, {_id : 2, host : "192.168.15.155:1100" } ] }

初始化副本集
rs.initiate(config)

mongos(192.168.15.1/2/3)配置及服务启动:

编写mongos.conf，将参数都放在该文件中(3台配置文件都一样)：

vim /usr/local/mongodb/conf/mongos.conf

#!/bin/bash
systemLog:
destination: file
path: "/data/server/mongos/log/mongos.log"
logAppend: true
net:
port: 1000
sharding:
configDB: 192.168.15.153:1100,192.168.15.154:1100,192.168.15.155:1100
processManagement:
fork: true

启动mongos：应保证集群中设备的时间都是一样的，否则启动mongos会报错，若不相同，可先搭建一套NTP服务器

启动命令：

/usr/local/mongodb/bin/mongos -f /usr/local/mongodb/conf/mongos.conf

shard1分片+副本集配置及服务启动(192.168.15.1/2/3)：

vim /usr/local/mongodb/conf/shard1.conf

#!/bin/bash
systemLog:
destination: file
path: "/data/server/shard1/log/shard1.log"                      #日志存储位置
logAppend: true
storage:
journal:                                                        #journal配置
enabled: true
dbPath: "/data/server/shard1/data"                              #数据文件存储位置
directoryPerDB: true                                            #是否一个库一个文件夹
engine: wiredTiger                                              #数据引擎
wiredTiger:                                                     #WT引擎配置
engineConfig:
cacheSizeGB: 8                                                  #设置为6G,默认为物理内存的一半
directoryForIndexes: true                                       #是否将索引也按数据库名单独存储
journalCompressor: zlib
collectionConfig:                                               #表压缩配置
blockCompressor: zlib
indexConfig:                                                    #索引配置
prefixCompression: true
net:                                                            #端口配置
port: 2000
processManagement:                                              #配置启动管理方式
fork: true
sharding:                                                       #分片配置
clusterRole: shardsvr
replication:
replSetName: shard1                                             #配置副本集名称

shard1 启动命令：

/usr/local/mongodb/bin/mongod -f /usr/local/mongodb/conf/shard1.conf

shard2分片+副本集配置及服务启动(192.168.15.1/2/3)：

vim /usr/local/mongodb/conf/shard2.conf

#!/bin/bash
systemLog:
destination: file
path: "/data/server/shard2/log/shard2.log"                       #日志存储位置
logAppend: true
storage:
journal:                                                         #journal配置
enabled: true
dbPath: "/data/server/shard2/data"                               #数据文件存储位置
directoryPerDB: true                                             #是否一个库一个文件夹
engine: wiredTiger                                               #数据引擎
wiredTiger:                                                      #WT引擎配置
engineConfig:
cacheSizeGB: 8                                                   #设置为6G,默认为物理内存的一半
directoryForIndexes: true                                        #是否将索引也按数据库名单独存储
journalCompressor: zlib
collectionConfig:                                                #表压缩配置
blockCompressor: zlib
indexConfig:                                                     #索引配置
prefixCompression: true
net:                                                             #端口配置
port: 3000
processManagement:                                               #配置启动管理方式
fork: true
sharding:                                                        #分片配置
clusterRole: shardsvr
replication:
replSetName: shard2                                              #配置副本集名称

shard2 启动命令：

/usr/local/mongodb/bin/mongod -f /usr/local/mongodb/conf/shard2.conf

shard3分片+副本集配置及服务启动(192.168.15.1/2/3)：

vim /usr/local/mongodb/conf/shard3.conf

#!/bin/bash
systemLog:
destination: file
path: "/data/server/shard3/log/shard3.log"                       #日志存储位置
logAppend: true
storage:
journal:                                                         #journal配置
enabled: true
dbPath: "/data/server/shard3/data"                               #数据文件存储位置
directoryPerDB: true                                             #是否一个库一个文件夹
engine: wiredTiger                                               #数据引擎
wiredTiger:                                                      #WT引擎配置
engineConfig:
cacheSizeGB: 8                                                   #设置为6G,默认为物理内存的一半
directoryForIndexes: true                                        #是否将索引也按数据库名单独存储
journalCompressor: zlib
collectionConfig:                                                #表压缩配置
blockCompressor: zlib
indexConfig:                                                     #索引配置
prefixCompression: true
net:                                                             #端口配置
port: 4000
processManagement:                                               #配置启动管理方式
fork: true
sharding:                                                        #分片配置
clusterRole: shardsvr
replication:
replSetName: shard3                                              #配置副本集名称

shard3 启动命令：

/usr/local/mongodb/bin/mongod -f /usr/local/mongodb/conf/shard3.conf

集群配置：

副本集配置(在每个 shard的主节点上进行配置及初始化，否则会初始化失败 )：

shard1的副本集配置(主节点、副本节点、仲裁节点)：

/usr/local/mongodb/bin/mongo 192.168.15.153:2000

输入：use admin

返回：switched to db admin

输入：config = { _id:"shard1", members:[ {_id:0,host:"192.168.15.153:2000"},{_id:1,host:"192.168.15.154:2000"}, {_id:2,host:"192.168.15.155:2000",arbiterOnly:true}] }

返回：
{
"_id" : "shard1",
"members" : [
{
"_id" : 0,
"host" : "192.168.15.153:2000"
},
{
"_id" : 1,
"host" : "192.168.15.154:2000"
},
{
"_id" : 2,
"host" : "192.168.15.155:2000",
"arbiterOnly" : true
}
]
}

初始化副本集配置
rs.initiate(config);

shard2的副本集配置(主节点、副本节点、仲裁节点)：

/usr/local/mongodb/bin/mongo 192.168.15.154:3000

输入：use admin

返回：switched to db admin

输入：config = { _id : "shard2", members : [ {_id : 0, host : "192.168.15.153:3000" , arbiterOnly: true }, {_id : 1, host : "192.168.15.154:3000" }, {_id : 2, host : "192.168.15.155:3000" } ] }

初始化副本集配置
rs.initiate(config);

shard3的副本集配置(主节点、副本节点、仲裁节点)：

/usr/local/mongodb/bin/mongo 192.168.15.155:4000

输入：use admin

返回：switched to db admin

输入：config = { _id : "shard3", members : [ {_id : 0, host : "192.168.15.153:4000" }, {_id : 1, host : "192.168.15.154:4000" , arbiterOnly: true}, {_id : 2, host : "192.168.15.155:4000" } ] }

初始化副本集配置
rs.initiate(config);

分片配置

/usr/local/mongodb/bin/mongo 192.168.15.154:1000

输入：use admin

返回：switched to db admin

输入：

adminsh.addShard("shard1/192.168.15.153:2000,192.168.15.154:2000,192.168.15.155:2000") sh.addShard("shard2/192.168.15.153:3000,192.168.15.154:3000,192.168.15.155:3000") sh.addShard("shard3/192.168.15.153:4000,192.168.15.154:4000,192.168.15.155:4000")

查看状态：

sh.status()

最后

启动关闭

mongodb的启动顺序是，先启动配置服务器，在启动分片，最后启动mongos.

/usr/local/mongodb/bin/mongod -f /usr/local/mongodb/conf/configserver.conf
/usr/local/mongodb/bin/mongod -f /usr/local/mongodb/conf/shard1.conf
/usr/local/mongodb/bin/mongod -f /usr/local/mongodb/conf/shard2.conf
/usr/local/mongodb/bin/mongod -f /usr/local/mongodb/conf/shard3.conf
/usr/local/mongodb/bin/mongos -f /usr/local/mongodb/conf/mongos.conf

关闭时，直接killall杀掉所有进程

killall mongod
killall mongos