搭建高可用 mongodb 集群(副本集)

本贴最后更新于 1082 天前,其中的信息可能已经沧海桑田

先提出以下几个问题:

这篇文章看完这些问题就可以搞定了。NoSQL 的产生就是为了解决大数据量、高扩展性、高性能、灵活数据模型、高可用性。但是光通过主从模式的架构远远达不到上面几点,由此 MongoDB 设计了副本集和分片的功能。这篇文章主要介绍副本集

MongoDB 官方已经不建议使用主从模式了,替代方案是采用副本集的模式,点击查看 ,如图:

那什么是副本集呢?打魔兽世界总说打副本,其实这两个概念差不多一个意思。游戏里的副本是指玩家集中在高峰时间去一个场景打怪,会出现玩家暴多怪物少的情况,游戏开发商为了保证玩家的体验度,就为每一批玩家单独开放一个同样的空间同样的数量的怪物,这一个复制的场景就是一个副本,不管有多少个玩家各自在各自的副本里玩不会互相影响。 MongoDB 的副本也是这个,主从模式其实就是一个单副本的应用,没有很好的扩展性和容错性。而副本集具有多个副本保证了容错性,就算一个副本挂掉了还有很多副本存在,并且解决了上面第一个问题“主节点挂掉了,整个集群内会自动切换”。难怪 MongoDB 官方推荐使用这种模式。我们来看看 MongoDB 副本集的架构图:

由图可以看到客户端连接到整个副本集,不关心具体哪一台机器是否挂掉。主服务器负责整个副本集的读写,副本集定期同步数据备份,一但主节点挂掉,副本节点就会选举一个新的主服务器,这一切对于应用服务器不需要关心。我们看一下主服务器挂掉后的架构:

副本集中的副本节点在主节点挂掉后通过心跳机制检测到后,就会在集群内发起主节点的选举机制,自动选举一位新的主服务器。看起来很牛 X 的样子,我们赶紧操作部署一下!
官方推荐的副本集机器数量为至少 3 个,那我们也按照这个数量配置测试。

10.55.15.124、10.55.15.137、10.55.15.178。 10.55.15.124 当作副本集主节点,10.55.15.137、10.55.15.178 作为副本集副本节点。

#存放整个mongodb文件
mkdir -p /data/mongodb/replset

#存放整个mongodb日志文件
mkdir -p /data/mongodb/replset/logs
 
#存放mongodb数据文件
mkdir -p /data/mongodb/replset/data
 
#进入mongodb文件夹
cd  /data/mongodb

注意 Linux 生产环境不能安装 32 位的 MongoDB,因为 32 位受限于操作系统最大 2G 的文件限制(安装步骤略)

mongod  --dbpath /data/mongodb/replset/data   --replSet replset
dbpath = /data/mongodb/replset/data/
logpath = /data/mongodb/replset/logs/replset.log
logappend = true
port = 27017 
rest = true
replSet = replset 
fork = true
oplogSize = 4000
directoryperdb = true
nohttpinterface = true
profile = 0 
mongo 10.55.15.124:27017
 
#使用admin数据库
use admin
#定义副本集配置变量,这里的 _id:”replset” 和上面命令参数“ –replSet replset” 要保持一样。

config = { _id:"replset", members:[
... {_id:0,host:"10.55.15.137:27017"},
... {_id:1,host:"10.55.15.124:27017"},
... {_id:2,host:"10.55.15.178:27016"}]
... }

# 上面未设置优先级,优先级默认都为1,可根据服务器的配置,进行人为添加priority优先级调整
config = { _id:"replset", members:[
... {_id:0,host:"10.55.15.137:27017,priority: 100"},
... {_id:1,host:"10.55.15.124:27017,priority: 70"},
... {_id:2,host:"10.55.15.178:27016,priority: 50"}]
... }

输出:

{
        "_id" : "replset",
        "members" : [
                {
                        "_id" : 0,
                        "host" : "10.55.15.137:27017"
                },
                {
                        "_id" : 1,
                        "host" : "10.55.15.124:27017"
                },
                {
                        "_id" : 2,
                        "host" : "10.55.15.178:27016"
                }
        ]
}
rs.initiate(config);
{ "ok" : 1 }
{
        "ok" : 0,
        "errmsg" : "replSetInitiate quorum check failed because not all proposed set members responded affirmatively: 10.55.151.137:27017 failed with Couldn't get a connection within the time limit",
        "code" : 74,
        "codeName" : "NodeNotFound"
}
  • 检查防火墙,是否已放行端口或已关闭;
#RedHat/CentOS 6 查看防火墙状态
 service iptables status
#关闭防火墙
 service iptables stop 
 
# CentOS 7关闭防火墙
 systemctl stop firewalld
  • 防火墙放过端口
vim /etc/sysconfig/iptables
# 在规则最上方加入下面两条规则
-A INPUT -p tcp --destination-port 27017 -m state --state NEW,ESTABLISHED -j ACCEPT
-A OUTPUT -p tcp --source-port 27017 -m state --state ESTABLISHED -j ACCEPT
#  重启防火墙

service iptables restart
  • 检查是不是手贱输错 ip,导致 ip 不在同一局域网
# 查看副本状态
rs.status()

输出:

{
	"set" : "replset",
	"date" : ISODate("2017-07-27T00:55:15.505Z"),
	"myState" : 1,
	"term" : NumberLong(2),
	"heartbeatIntervalMillis" : NumberLong(2000),
	"members" : [
		{
			"_id" : 0,
			"name" : "10.55.15.137:27017",
			"health" : 1,					# 1 说明是运行正常,没有挂掉,0则说明该节点已经挂掉
			"state" : 2,
			"stateStr" : "SECONDARY",    #SECONDARY说明是副本集副本节点
			"uptime" : 566,
			"optime" : {
				"ts" : Timestamp(1501116356, 1),
				"t" : NumberLong(2)
			},
			"optimeDate" : ISODate("2017-07-27T00:45:56Z"),
			"lastHeartbeat" : ISODate("2017-07-27T00:55:15.081Z"),
			"lastHeartbeatRecv" : ISODate("2017-07-27T00:55:14.126Z"),
			"pingMs" : NumberLong(7),
			"syncingTo" : "10.55.15.124:27017",
			"configVersion" : 1
		},
		{
			"_id" : 1,
			"name" : "10.55.15.124:27017",
			"health" : 1,				# 1 说明是运行正常,没有挂掉,0则说明该节点已经挂掉
			"state" : 1,
			"stateStr" : "PRIMARY",     #PRIMARY说明是副本集主节点
			"uptime" : 593,
			"optime" : {
				"ts" : Timestamp(1501116356, 1),
				"t" : NumberLong(2)
			},
			"optimeDate" : ISODate("2017-07-27T00:45:56Z"),
			"electionTime" : Timestamp(1501116355, 1),
			"electionDate" : ISODate("2017-07-27T00:45:55Z"),
			"configVersion" : 1,
			"self" : true
		},
		{
			"_id" : 2,
			"name" : "10.55.15.178:27016",
			"health" : 1,				    # 1 说明是运行正常,没有挂掉,0则说明该节点已经挂掉
			"state" : 2,
			"stateStr" : "SECONDARY",      #SECONDARY说明是副本集副本节点
			"uptime" : 537,
			"optime" : {
				"ts" : Timestamp(1501116356, 1),
				"t" : NumberLong(2)
			},
			"optimeDate" : ISODate("2017-07-27T00:45:56Z"),
			"lastHeartbeat" : ISODate("2017-07-27T00:55:14.769Z"),
			"lastHeartbeatRecv" : ISODate("2017-07-27T00:55:13.643Z"),
			"pingMs" : NumberLong(2),
			"syncingTo" : "10.55.15.137:27017",
			"configVersion" : 1
		}
	],
	"ok" : 1
}

priority 的优先级越高,成为主节点的概率越高,一开始我们没有指定优先级,则优先级默认都为 1,可以根据服务器的配置进行一定的优先级调整(在初始化之前设置)

{
	"_id" : "replset",
	"version" : 1,
	"protocolVersion" : NumberLong(1),
	"members" : [
		{
			"_id" : 0,
			"host" : "10.55.15.137:27017",
			"arbiterOnly" : false,
			"buildIndexes" : true,
			"hidden" : false,
			"priority" : 1,   # 优先级越高,成为主节点的概率越高
			"tags" : {
				
			},
			"slaveDelay" : NumberLong(0),
			"votes" : 1
		},
		{
			"_id" : 1,
			"host" : "10.55.15.124:27017",
			"arbiterOnly" : false,
			"buildIndexes" : true,
			"hidden" : false,
			"priority" : 1,  # 优先级越高,成为主节点的概率越高
			"tags" : {
				
			},
			"slaveDelay" : NumberLong(0),
			"votes" : 1
		},
		{
			"_id" : 2,
			"host" : "10.55.15.178:27016",
			"arbiterOnly" : false,
			"buildIndexes" : true,
			"hidden" : false,
			"priority" : 1,   # 优先级越高,成为主节点的概率越高
			"tags" : {
				
			},
			"slaveDelay" : NumberLong(0),
			"votes" : 1
		}
	],
	"settings" : {
		"chainingAllowed" : true,
		"heartbeatIntervalMillis" : 2000,
		"heartbeatTimeoutSecs" : 10,
		"electionTimeoutMillis" : 10000,
		"getLastErrorModes" : {
			
		},
		"getLastErrorDefaults" : {
			"w" : 1,
			"wtimeout" : 0
		}
	}
}

在 MongoDB 的副本集群中,还有一个角色叫做仲裁服务器,它的特点是只参与投票选举,而不会同步数据。MongoDB 的配置与其他副本节点服务器相同,同样也要保证没有数据且启用了--replSet 参数。

  • 在 MongoDB 与 Spring 整合,使用副本集模式时,配置文件中只需配置一个仲裁节点的 ip 及端口即可找到所有节点,不能配置主节点或其他副本节点

我们可以通过下面的步骤来新增一台仲裁服务器。
这里新启动了一个 MongoDB 节点(10.55.15.124:27016),连接 MongoDB 主节点执行如下操作

use admin
#添加仲裁节点
replset:PRIMARY>rs.addArb("10.55.15.124:27016");

# 查看状态
rs.status();

10.55.15.124:27017 为主节点,可读可写

mongo 10.55.15.124:27017
replset:PRIMARY> use test
switched to db test
replset:PRIMARY> db.user.insert({name:"郑明亮"})
WriteResult({ "nInserted" : 1 })
repset:PRIMARY> db.user.find()
{ "_id" : ObjectId("59787c2825db8cd57a622055"), "name" : "zhangsan" }
{ "_id" : ObjectId("597946f3b4a84b6685e284da"), "name" : "郑明亮" }

10.55.15.178 为副本节点,只读(默认不可读,可先设置 db.getMongo().setSlaveOk(),然后进行可读操作)

mongo 10.55.15.178:17016

replset:SECONDARY> use test
switched to db test

replset:SECONDARY> db.user.insert({name:"郑明亮"})
WriteResult({ "writeError" : { "code" : 10107, "errmsg" : "not master" } })

# 副本节点默认也不可读
replset:SECONDARY> db.user.find().pretty();
Error: error: { "ok" : 0, "errmsg" : "not master and slaveOk=false", "code" : 13435 }
##设置slaveOk为true
db.getMongo().setSlaveOk();
replset:SECONDARY> db.user.find().pretty();
{ "_id" : ObjectId("59787c2825db8cd57a622055"), "name" : "zhangsan" }
{ "_id" : ObjectId("597946f3b4a84b6685e284da"), "name" : "郑明亮" }

  1. 干掉 10.55.15.124:27017 主节点
[root@rocketmq-master1 server]# mongod --shutdown --dbpath=/data/mongodb/replset/data/
killing process with pid: 12975
  1. 干掉后,其他副本节点会说 10.55.15.124 连不上了

  2. 不过此时再登陆可用的这两台 MongoDB 其中任意一台,以 10.55.15.137:27017 为例
  3. 查看状态
repset:PRIMARY>rs.status()

让挂掉的节点重新上线后,再查看状态

  • MongoDB

    MongoDB(来自于英文单词“Humongous”,中文含义为“庞大”)是一个基于分布式文件存储的数据库,由 C++ 语言编写。旨在为应用提供可扩展的高性能数据存储解决方案。MongoDB 是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。它支持的数据结构非常松散,是类似 JSON 的 BSON 格式,因此可以存储比较复杂的数据类型。

    76 引用 • 53 回帖 • 3 关注
  • 集群
    27 引用 • 65 回帖

赞助商 我要投放

4 回帖
请输入回帖内容 ...
  • someone

    你的服务器图片有问题

  • someone

    是验证码吧?貌似换了服务器之后就出问题了[em05]

  • someone

    而且反应略慢。

  • someone

    服务器配置有限,没办法啊