匡威-MongoDB 蜻蜓点水(全面解读篇)

目录

• 一、简介
• 二、根本模型
• BSON 数据类型
• 散布式ID
• 三、操作语法
• 四、索引
• 索引特性
• 索引分类
• 索引评价、调优
• 五、集群
• 分片机制
• 副本集
• 六、业务与一致性
• 一致性
• 小结

一、简介

MongoDB 是一款盛行的开源文档型数据库，从它的命名来看，确实是有必定野心的。

MongoDB 的原名一开端来自于 英文单词"Humongous", 中文意义是指"巨大"，即命名者的意图是能够处理大规划的数据。

但笔者更喜爱称号它为 "芒果"数据库，除了译音愈加邻近之外，原因还来自于这几年运用 MongoDB 的两层感觉：

• 第一层感触是"爽"，运用这个文档数据库的特点是简直不受什么束缚，一方面Json文档式的结构更简略了解，而无Schema束缚也让DDL办理愈加简略，悉数都能够很快速的进行。
• 第二层感触是"酸爽"，这点信任干运维或是支撑性作业的兄弟感触会比较深入，MongoDB 因为入门体会"太过于友爱"，导致一些团队认为用好这个数据库是个很简略的工作，所以开发兄弟在存量体系上埋一些坑也是正常的工作。
• 所谓交给一时爽，保护火葬场.. 当然了，这句话或许有些过。 但这儿的潜台词是：与传统的RDBMS数据库相同，MongoDB 在运用上也需求细心的考量和关照，否则的化，会遇到更多的坑。

那么，虽然文档数据库在选型上会让一些团队望而生畏，依然不阻止该数据库所获得的一些支撑，比方 DB-Engine 上的排名：

图-DBEngine排名

在悉数的排名中，MongoDB 长时刻排在第5位(文档数据库排名第1位)，一起也是最受欢迎的 NoSQL 数据库。

别的，MongoDB 的社区一向比较活泼，加上商业上的驱动(MongoDB于2017年在纳斯达克上市)，这些要素都推动了该开源数据库的开展。

MongoDB 数据库的一些特性：

• 面向文档存储，依据JSON/BSON 可表明灵敏的数据结构
• 动态 DDL才干，没有强Schema束缚，支撑快速迭代
• 高功用核算，供给依据内存的快速数据查询
• 简略扩展，运用数据分片能够支撑海量数据存储
• 丰厚的功用集，支撑二级索引、强壮的聚合管道功用，为开发者量身定做的功用，如数据主动老化、固定调集等等。
• 跨渠道版别、支撑多语言SDK..

假定你是初度了解 MongoDB，下面的内容将能协助你对该数据库技能的全貌发作必定的了解。

二、根本模型

数据结构关于一个软件来说是至关重要的，MongoDB 在概念模型上参阅了 SQL数据库，但并非完全相同。

关于这点，也有人说，MongoDB 是 NoSQL中最像SQL的数据库..

如下表所示：

• database 数据库，与SQL的数据库(database)概念相同，一个数据库包含多个调集(表)
• collection 调集，相当于SQL中的表(table)，一个调集能够寄存多个文档(行)。 不同之处就在于调集的结构(schema)是动态的，不需求预先声明一个严厉的表结构。更重要的是，默许状况下 MongoDB 并不会对写入的数据做任何schema的校验。
• document 文档，相当于SQL中的行(row)，一个文档由多个字段(列)组成，并选用bson(json)格局表明。
• field 字段，相当于SQL中的列(column)，比较一匡威-MongoDB 蜻蜓点水(全面解读篇)般column的不同在于field的类型能够愈加灵敏，比方支撑嵌套的文档、数组。
• 此外，MongoDB中字段的类型是固定的、区别巨细写、而且文档中的字段也是有序的。

别的，SQL 还有一些其他的概念，对应联系如下：

• _id 主键，MongoDB 默许运用一个_id 字段来确保文档的仅有性。
• reference 引证，牵强能够对应于 外键(foreign key) 的概念，之所所以牵强是因为 reference 并没有完结任何外键的束缚，而只是由客户端(driver)主动进行相关查询、转化的一个特别类型。
• view 视图，MongoDB 3.4 开端支撑视图，和 SQL 的视图没有什么差异，视图是依据表/调集之上进行动态查询的一层目标，能够是虚拟的，也能够是物理的(物化视图)。
• index 索引，与SQL 的索引相同。
• $lookup，这是一个聚合操作符，能够用于完结相似 SQL-join 衔接的功用
• transaction 业务，从 MongoDB 4.0 版别开端，供给了关于业务的支撑
• aggregation 聚合，MongoDB 供给了强壮的聚合核算结构，group by 是其间的一类聚合操作。

BSON 数据类型

MongoDB 文档能够运用 Javascript 目标表明，从格局上讲，是依据 JSON 的。

一个典型的文档如下：

{
 "_id": 1,
 "name" : { "first" : "John", "last" : "Backus" },
 "contribs" : [ "Fortran", "ALGOL", "Backus-Naur Form", "FP" ],
 "awards" : [
 {
 "award" : "W.W. McDowell Award",
 "year" : 1967,
 "by" : "IEEE Computer Society"
 }, {
 "award" : "Draper Prize",
 "year" : 1993,
 "by" : "National Academy of Engineering"
 }
 ]
}

从前，JSON 的呈现及盛行让 Web 2.0 的数据传输变得十分简略，所以运用 JSON 语法是十分简略让开发者承受的。

可是 JSON 也有自己的短板，比方无法支撑像日期这样的特定数据类型，因而 MongoDB 实际上运用的是一种扩展式的JSON，叫 BSON(Binary JSON)。

BSON 所支撑的数据类型包含：

图-BSON类型

散布式ID

在单机年代，大多数运用能够运用数据库自增式ID 来作为主键。 传统的 RDBMS 也都支撑这种方法，比方 mysql 能够经过声明 auto_increment来完结自增的主键。 但一旦数据完结了散布式存储，这种方法就不再适用了，原因就在于无法确保多个节点上的主键不呈现重复。

为了完结散布式数据ID的仅有性确保，运用开发者提出了自己的方案，而大多数方案中都会将ID分段生成，如闻名的 snowflake 算法中就一起运用了时刻戳、机器号、进程号以及随机数来确保仅有性。

MongoDB 选用 ObjectId 来表明主键的类型，数据库中每个文档都具有一个_id 字段表明主键。

_id 的生成规矩如下：

图-ObjecteID

其间包含：

• 4-byte Unix 时刻戳
• 3-byte 机器 ID
• 2-byte 进程 ID
• 3-byte 计数器(初始化随机)

值得一提的是 _id 的生成实质上是由客户端(Driver)生成的，这样能够获得更好的随机性，一起下降服务端的负载。

当然服务端也会检测写入的文档是否包含_id 字段，假如没有就生成一个。

三、操作语法

除了文档模型自身，关于数据的操作指令也是依据JSON/BSON 格局的语法。

比方刺进文档的操作：

db.book.insert(
{
 title: "My first blog post",
 published: new Date(),
 tags: [ "NoSQL", "MongoDB" ],
 type: "Work",
 author : "James",
 viewCount: 25,
 commentCount: 2
}
)

履行文档查找：

db.book.find({author : "James"})

更新文档的指令：

db.book.update(
 {"_id" : ObjectId("5c61301c15338f68639e6802")},
 {"$inc": {"viewCount": 3} }
)

删去文档的指令：

db.book.remove({"_id":
 ObjectId("5c612b2f15338f68639e67d5")})

在传统的SQL语法中，能够限制回来的字段，MongoDB能够运用Projection来表明：

db.book.find({"author": "James"}, 
 {"_id": 1, "title": 1, "author": 1})

完结简略的分页查匡威-MongoDB 蜻蜓点水(全面解读篇)询：

db.book.find({})
 .sort({"viewCount" : -1})
 .skip(10).limit(5)

这种依据BSON/JSON 的语法格局并不杂乱，它的表达才干或许要比SQL愈加强壮。

与 MongoDB 做法相似的还有 ElasticSearch，后者是搜索数据库的佼佼者。

那么，一个风趣的问题是 MongoDB 能不能用 SQL进行查询？

当然是能够！

但需求留意这些功用并不是 MongoDB 原生自带的，而需求借由第三方东西渠道完结：

• 客户端运用SQL，能够运用 mongobooster、studio3t 这样的东西
• 服务端的话，能够看看 presto 之类的一些渠道..

四、索引

无疑，索引是一个数据库的要害才干，MongoDB 支撑十分丰厚的索引类型。

运用这些索引，能够完结快速的数据查找，而索引的类型和特性则是针对不同的运用场景规划的。

索引的技能完结依赖于底层的存储引擎，在当时的版别中 MongoDB 运用 wiredTiger 作为默许的引擎。

在索引的完结上运用了 B+树的结构，这与其他的传统数据库并没有什么不同。

所以这是个好消息，大部分依据SQL数据库的一些索引调优技巧在 MongoDB 上依然是可行的。

图-B+树

运用 ensureIndexes 能够为调集声明一个一般的索引：

db.book.ensureIndex({author: 1})

author后边的数字 1 代表升序，假如是降序则是 -1

完结复合式(compound)的索引，如下：

db.book.ensureIndex({type: 1, published: 1})

只要关于复合式索引时，索引键的次序才变得有意义

假如索引的字段是数组类型，该索引就主动成为数组(multikey)索引：

db.book.ensureIndex({tags: 1})

MongoDB 能够在复合索引上包含数组的字段，但最多只能包含一个

索引特性

在声明索引时，还能够经过一些参数化选项来为索引赋予必定的特性，包含：

• unique=true，表明一个仅有性索引
• expireAfterSeconds=3600，表明这是一个TTL索引，而且数据将在1小时后老化
• sparse=true，表明稀少的索引，仅索引非空(non-null)字段的文档
• partialFilterExpression: { rating: { $gt: 5 }，条件式索引，即满意核算条件的文档才进行索引

索引分类

除了一般索引之外，MongoDB 支撑的类型还包含：

• 哈希(HASH)索引，哈希是另一种快速检索的数据结构，MongoDB 的 HASH 类型分片键会运用哈希索引。
• 地舆空间索引，用于支撑快速的地舆空间查询，如寻觅邻近1公里的商家。
• 文本索引，用于支撑快速的全文检索
• 含糊索引(Wildcard Index)，一种依据匹配规矩的灵敏式索引，在4.2版别开端引进。

索引评价、调优

运用 explain() 指令能够用于查询方案剖析，进一步评价索引的作用。

如下：

> db.test.explain().find( { a : 5 } )
{
 "queryPlanner" : {
 ...
 "winningPlan" : {
 "stage" : "FETCH",
 "inputStage" : {
 "stage" : "IXSCAN",
 "keyPattern" : {
 "a" : 5
 },
 "indexName" : "a_1",
 "isMultiKey" : false,
 "direction" : "forwa匡威-MongoDB 蜻蜓点水(全面解读篇)rd"匡威-MongoDB 蜻蜓点水(全面解读篇),
 "indexBounds" : {"a" : ["[5.0, 5.0]"]}
 }
 }},
 ...
}

从成果 winningPlan 中能够看出履行方案是否高效，比方：

• 未能射中索引的成果，会显现COLLSCAN
• 射中索引的成果，运用IXSCAN
• 呈现了内存排序，显现为 SORT

关于 explain 的成果阐明，能够进一步参阅文档：

https://docs.mongodb.com/manual/reference/explain-results/index.html

五、集群

在大数据范畴常常说到的4V特征中，Volume(数据量大)是首战之地被提及的。

因为单机笔直扩展才干的限制，水平扩展的方法则显得愈加的靠谱。 MongoDB 自带了这种才干，能够将数据存储到多个机器上以供给更大的容量和负载才干。

此外，一起为了确保数据的高可用，MongoDB 选用副本集的方法来完结数据仿制。

一个典型的MongoDB集群架构会一起选用分片+副本集的方法，如下图：

图-MongoDB 分片集群(Shard Cluster)

架构阐明

• 数据分片（Shards）
• 分片用于存储实在的集群数据，能够是一个独自的 Mongod实例，也能够是一个副本集。 出产环境下Shard一般是一个 Replica Set，以防止该数据片的单点毛病。
• 关于分片调集(sharded collection)来说，每个分片上都存储了调集的一部分数据(依照分片键切分)，假如调集没有分片，那么该调集的数据都存储在数据库的 Primary Shard中。
• 装备服务器（Config Servers）
• 保存集群的元数据（metadata），包含各个Shard的路由规矩，装备服务器由一个副本集(ReplicaSet)组成。
• 查询路由（Query Routers）
• Mongos是 Sharded Cluster 的拜访进口，其自身并不耐久化数据 。Mongos发动后，会从 Config Server 加载元数据，开端供给服务，并将用户的恳求正确路由到对应的Shard。
• Sharding 集群能够布置多个 Mongos 以分管客户端恳求的压力。

分片机制

下面的几个细节，关于了解和运用 MongoDB 的分片机制比较重要，所以有必要提及一下：

1. 数据怎么切分

首要，依据分片切分后的数据块称为 chunk，一个分片后的调集会包含多个 chunk，每个 chunk 坐落哪个分片(Shard) 则记载在 Config Server(装备服务器)上。

Mongos 在操作分片调集时，会主动依据分片键找到对应的 chunk，并向该 chunk 地点的分片建议操作恳求。

数据是依据分片战略来进行切分的，而分片战略则由 分片键(ShardKey)+分片算法(ShardStrategy)组成。

MongoDB 支撑两种分片算法：

• 规划分片

如上图所示，假定调集依据x字段来分片，x的取值规划为[minKey, maxKey]（x为整型，这儿的minKey、maxKey为整型的最小值和最大值），将整个取值规划划分为多个chunk，每个chunk（默许装备为64MB）包含其间一小段的数据：

如Chunk1包含x的取值在[minKey, -75)的一切文档，而Chunk2包含x取值在[-75, 25)之间的一切文档...

规划分片能很好的满意规划查询的需求，比方想查询x的值在[-30, 10]之间的一切文档，这时 Mongos 直接能将恳求路由到 Chunk2，就能查询出一切契合条件的文档。 规划分片的缺点在于，假如 ShardKey 有显着递加（或许递减）趋势，则新刺进的文档多会散布到同一个chunk，无法扩展写的才干，比方运用_id作为 ShardKey，而MongoDB主动生成的id高位是时刻戳，是继续递加的。

• 哈希分片

Hash分片是依据用户的 ShardKey 先核算出hash值（64bit整型），再依据hash值依照规划分片的战略将文档散布到不同的 chunk。

因为 hash值的核算是随机的，因而 Hash 分片具有很好的离散性，能够将数据随机分发到不同的 chunk 上。 Hash 分片能够充沛的扩展写才干，补偿了规划分片的缺乏，但不能高效的服务规划查询，一切的规划查询要查询多个 chunk 才干找出满意条件的文档。

2. 怎么确保均衡

如前面的阐明中，数据是散布在不同的 chunk上的，而 c无头骑士异闻录hunk 则会分配到不同的分片上，那么怎么确保分片上的 数据(chunk) 是均衡的呢？

在实在的场景中，会存在下面两种状况：

• A. 全预分配，chunk 的数量和 shard 都是预先界说好的，比方 10个shard，存储1000个chunk，那么每个shard 别离具有100个chunk。
• 此刻集群已经是均衡的状况(这儿假定)
• B. 非预分配，这种状况则比较杂乱，一般当一个 chunk 太大时会发作割裂(split)，不断割裂的成果会导致不均衡；或许动态扩容添加分片时，也会呈现不均衡的状况。 这种不均衡的状况由集群均衡器进行检测，一旦发现了不均衡则履行 chunk数据的搬家到达均衡。

MongoDB 的数据均衡器运转于 Primary Config Server(装备服务器的主节点)上，而该节点也一起会操控 Chunk 数据的搬家流程。

图-数据主动均衡

关于数据的不均衡是依据两个分片上的 Chunk 个数差异来断定的，阈值对应表如下：

MongoDB 的数据搬迁对集群功用存在必定影响，这点无法防止，现在的躲避手法只能是将均衡窗口对齐到业务闲时段。

3. 运用高可用

运用节点能够经过一起衔接多个 Mongos 来完结高可用，如下：

图- mongos 高可用

当然，衔接高可用的功用是由 Driver 完结的。

副本集

副本集又是另一个论题，实质上除了前面架构图所表现的，副本集能够作为 Shard Cluster 中的一个Shard(片)之外，关于规划较小的业务来说，也能够运用一个单副本集的方法进行布置。

MongoDB 的副本集采取了一主多从的结构，即一个Primary Node + N* Secondary Node的方法，数据从主节点写入，并仿制到多个备节点。

典型的架构如下：

运用副本集，咱们能够完结：：

• 数据库高可用，主节点宕机后，由备节点主动推举成为新的主节点；
• 读写别离，读恳求能够分流到备节点，减轻主节点的单点压力。

请留意，读写别离只能添加集群"读"的才干，关于写负载十分高的状况却力不从心。

对此需求，运用分片集群并添加分片，或许提高数据库节点的磁盘IO、CPU才干能够获得必定作用。

推举

MongoDB 副本集经过 Raft 算法来完结主节点的推举，这个环节在初始化的时分会主动完结，如下面的指令：

config = {
 _id : "my_replica_set",
 members : [
 {_id : 0, host : "rs1.example.net:27017"},
 {_id : 1, host : "rs2.example.net:27017"},
 {_id : 2, host : "rs3.example.net:27017"},
 ]
}
rs.initiate(config)

initiate 指令用于完结副本集的初始化，在推举完结后，经过 isMaster()指令就能够看到推举的成果：

> db.isMaster()
{
 "hosts" : [
 "192.168.100.1:27030",
 "192.168.100.2:27030",
 "192.168.100.3:27030"
 ],
 "setName" : "myReplSet",
 "setVersion" : 1,
 "ismaster" : true,
 "secondary" : false,
 "primary" : "192.168.100.1:27030",
 "me" : "192.168.100.1:27030",
 "electionId" : ObjectId("7fffffff0000000000000001"),
 "ok" : 1
}

受 Raft算法的影响，主节点的推举需求满意"大多数"准则，能够参阅下表：

因而，为了防止呈现平票的状况，副本集的布置一般选用是基数个节点，比方3个，正所谓三人行必有我师..

心跳

在高可用的完结机制中，心跳(heartbeat)是十分要害的，判别一个节点是否宕机就取决于这个节点的心跳是否仍是正常的。

副本会集的每个节点上都会守时向其他节点发送心跳，以此来感知其他节点的改变，比方是否失效、或许人物发作了改变。

运用心跳，MongoDB 副本集完结了主动毛病搬运的功用，如下图：

默许状况下，节点会每2秒向其他节点宣布心跳，这其间包含了主节点。 假如备节点在10秒内没有收到主节点的呼应就会主动建议推举。

此刻新一轮推举开端，新的主节点会发作并接收本来主节点的业务。 整个进程关于上层是通明的，运用并不需求感知，因为 Mongos 会主动发现这些改变。

假如运用只是运用了单个副本集，那么就会由 Driver 层来主动完结处理。

仿制

主节点和备节点的数据是经过日志(oplog)仿制来完结的，这很相似于 mysql 的 binlog。

在每一个副本集的节点中，都会存在一个名为local.oplog.rs的特匡威-MongoDB 蜻蜓点水(全面解读篇)别调集。 当 Primary 上的写操作完结后，会向该调会集写入一条oplog，

而 Secondary 则继续从 Primary 拉取新的 oplog 并在本地进行回放以到达同步的意图。

下面，看看一条 oplog 的详细方法：

{
"ts" : Timestamp(1446011584, 2),
"h" : NumberLong("1687359108795812092"),
"v" : 2,
"op" : "i",
"ns" : "test.nosql",
"o" : { "_id" : ObjectId("563062c0b085733f34ab4129"), "name" : "mongodb", "score" : "100" }
}

其间的一些要害字段有：

• ts 操作的 optime，该字段不只是包含了操作的时刻戳(timestamp)，还包含一个自增的计数器值。
• h 操作的大局仅有表明
• v oplog 的版别信息
• op 操作类型，比方 i=insert,u=update..
• ns 操作调集，方法为 database.collection
• o 指详细的操作内容，关于一个 insert 操作，则包含了整个文档的内容

MongoDB 关于 oplog 的规划是比较细心的，比方：

• oplog 有必要确保有序，经过 optime 来确保。
• oplog 有必要包含能够进行数据回放的完好信息。
• oplog 有必要是幂等的，即屡次回放同一条日志发作的成果相同。
• oplog 调集是固定巨细的，为了防止对空间占用太大，旧的 oplog 记载会被滚动式的整理。

有爱好的读者，能够参阅官方文档：

https://docs.mongodb.com/manual/core/replica-set-oplog/index.html

六、业务与一致性

一向以来，"不支撑业务" 是 MongoDB 一向被诟病的问题，当然也能够说这是 NoSQL 数据库的一种权衡(抛弃业务，寻求高功用、高可扩展)

但实质上，MongoDB 很早就有业务的概念，可是这个业务只能是针对单文档的，即单个文档的操作是有原子性确保的。

在4.0 版别之后，MongoDB 开端支撑多文档的业务：

• 4.0 版别支撑副本集规划的多文档业务。
• 4.2 版别支撑跨分片的多文档业务(依据两阶段提交)。

在业务的阻隔性上，MongoDB 支撑快照(snapshot)的阻隔等级，能够防止脏读、不可重复读和幻读。

虽然有了实在意义上的业务功用，但多文档业务关于功用有必定的影响，运用应该在充沛评价后再做选用。

一致性

一致性是一个杂乱的论题，而一致性更多从运用视点上提出的，比方：

向体系写入一条数据，应该能够立刻读到写入的这个数据。

在散布式架构的CAP理论以及许多连续的观念中说到，因为网络分区的存在，要求体系在一致性和可用性之间做出挑选，而不能两者兼得。

图 -CAP理论

在 MongoDB 中，这个挑选是能够由开发者来定的。 MongoDB 答应客户端为其操作设定必定的等级或许偏好，包含：

• read preference
• 读取偏好，可指定读主节点、读备节点，或许是优先读主、优先读备、取最近的节点
• write concern
• 写重视，指定写入成果到达什么状况时才回来，能够为无应对(none)、应对(ack)，或许是大多数节点完结了数据仿制等等
• read concern
• 读重视，指定读取的数据版别处于怎样的状况，能够为读本地、读大多数节点写入，或许是线性读(linearizable)等等。

运用不同的设定将会发作关于C(一致性)、A(可用性)的不同的挑选，比方：

• 将读偏好设置为 primary，此刻读写都在主节点上。 这确保了数据的一致性，但一旦匡威-MongoDB 蜻蜓点水(全面解读篇)主节点宕时机导致失利(可用性下降)
• 将读偏好设置为 secondaryPrefered，此刻写主，优先读备，可用性提高了，但数据存在推迟(呈现不一致)
• 将读写重视都设置为 majority(大多数)，一致性提高了，但可用性也一起下降了(节点失效会导致大多数写失利)

关于这种权衡的讨论会一向存在，而 MongoDB 除了供给多样化的挑选之外，其首要是经过仿制、依据心跳的主动failover等机制来下降体系发作毛病时发作的影响，然后提高全体的可用性。

小结

本文首要提醒了 MongoDB 多个方面的细节，一起在运用体会上也凭借 SQL 的概念做了一些比照。

从笔者的视点看，MongoDB 的开展性是很强的，其灵敏快速的开发形式、天然生成自带散布式等才干补偿了传统型SQL数据库的缺点。当然，现在的 NewSQL 本质上也形似在以"仿照的方法"补偿这些缺点。

期望本文的内容对你能有些参阅。

作者： 美码师(zale)

出处： http://www.cnblogs.com/littleatp/, 假如喜爱我的文章