Mongodb的索引

想把Mongodb真正的使用好,不是那么简单,不能只会增删改查,还需要练习内功。
内功在武侠小说里面是一个人发展强大起来的重要基础,在我们Mongodb中练习内功也有这样的作用。
开始今天的内功学习。

为什么需要索引

索引:提高查询效率最有效的手段。是解决查询速度缓慢而退出的一种特殊的数据结构,以易于遍历的形式存储部分数据内容;索引数据存储在内存当中,同样加快了索引查找数据的效率。

从索引的简介中了解两个个知识点:

  • 目的提高查询速度。

  • 索引存储在内存当中。

索引针对的是查询速度缓慢,数据量大特别是数据量在百万级别,千万级别以及以上的数据量。
索引能大大减少查询时间的损耗。

eg:自己写过一段Monodb中的关联查询,数据表数据在百万级别,没有使用索引的时刻查询时间在7s,使用索引后查询时间是0.3s。效率大大提高。

Mongodb的索引机制

在往Mongodb中插入文档,每个文档都会经过底层的存储引擎持久化操作之后,会展示一个位置信息。
通过这个位置 信息,就能从存储引擎中读取到数据。不同的存储引擎处处位置的信息不同。选择合适的引擎也能帮助我们快速的查找数据。
eg: wiredtiger引擎生成一个KEY值,通过KEY去访问对应的文档。mmapv1引擎里面位置信息是通过文件id与文件内的偏移量决定的。

索引的类型

在Mongodb中有很多种索引支持,包含以下索引类型:单字段索引,联合索引,多key索引,文本索引, 地理位置索引,哈希索引.不同的索引类型支持不同类型的数据格式和查询需求。

单字段索引

单字段索引是针对单个字段进行设置索引的操作。

//创建索引的语法db.getCollection('test').createIndex({name:1})
{    "createdCollectionAutomatically" : false,    "numIndexesBefore" : 1,    "numIndexesAfter" : 2,    "ok" : 1.0}
数字1 是索引里面的数据按照升序进行排序,需要按照降序排序的索引可以写-1db.getCollection('test').createIndex({name:-1})

代码中针对name字段进行了创建索引,特别是Mongodb的主键_Id索引也是单字段索引。

联合索引

联合索引在单字段索引上进行了多个字段操作,将多个字段合并为一个索引的联合索引。

//创建索引的语法还是一样的。db.getCollection('test').createIndex({name:1,phone:1})
{    "createdCollectionAutomatically" : false,    "numIndexesBefore" : 2,    "numIndexesAfter" : 3,    "ok" : 1.0}

在查询字段中引入联合索引,在查询语句操作时需要按照联合索引的顺序进行查询,否则不能走索引的操作。
eg:我们创建索引时name在前 phone在后。

//find操作db.getCollection('test').find({name:"qiiq"})
db.getCollection('test').find({name:"qiiq",phone:12512135})
这两种操作是能走联合索引。//下面两种操作时不能走联合索引db.getCollection('test').find({phone:12512135,name:"qiiq"})
db.getCollection('test').find({phone:12512135})

多key索引

多key索引:当内容是数组或者list集合创建的一种索引。该索引会为数组中的每个字段创建索引。

子文档索引

该索引用来嵌入子文档中的字段进行创建索引。操作也可以有复合索引,单字段索引。

db.getCollection('test').createIndex({"user.name":1})

索引的属性

在Mongodb中不仅支持多个类型的索引,还能对索引增加一些额外的属性。

  • 唯一索引:在Mongodb中_id就是利用单字段索引加唯一索引的属性,构成的。

  • 部分索引(3.2版本之后新增):仅索引符合指定过滤器表达式集合中的文档。部分索引有较低的存储要求,降低索引的创建与维护。

  • 稀疏索引: 确保索引仅包含具有索引字段的文档的条目。会跳过没有索引字段的文档。

  • TTL索引:在一定时间后自动从集合中删除文档的一种索引。

索引的操作

索引的操作包含 创建,查看 ,删除,重建操作。

索引的创建

我们在前面的操作操作中已经使用索引的创建

db.getCollection('test').createIndex({"user.name":1})
db.collection.createIndex(keys,选项)

1、keys,要建立索引的参数列表。如:{KEY:1},其中key表示字段名,1表示升序排序,也可使用使用数字-1降序。

2、options,可选参数,表示建立索引的设置。可选值如下:

  • background,Boolean,在后台建立索引,以便建立索引时不阻止其他数据库活动。默认值 false。

  • unique,Boolean,创建唯一索引。默认值 false。

  • name,String,指定索引的名称。如果未指定,MongoDB会生成一个索引字段的名称和排序顺序串联。

  • dropDups,Boolean,创建唯一索引时,如果出现重复删除后续出现的相同索引,只保留第一个。

  • sparse,Boolean,对文档中不存在的字段数据不启用索引。默认值是 false。

  • v,index version,索引的版本号。

  • weights,document,索引权重值,数值在 1 到 99,999 之间,表示该索引相对于其他索引字段的得分权重。

查看索引

getIndexes()查看集合的所有索引。

db.getCollection('test').getIndexes()
[
    {        "v" : 2,        "key" : {            "_id" : 1
        },        "name" : "_id_",        "ns" : "test.test"
    },
    {        "v" : 2,        "key" : {            "name" : 1.0
        },        "name" : "name_1",        "ns" : "test.test"
    },
    {        "v" : 2,        "key" : {            "name" : 1.0,            "phone" : 1.0
        },        "name" : "name_1_phone_1",        "ns" : "test.test"
    }
]

totalIndexSize()查看集合索引的总大小。

db.getCollection('test').totalIndexSize()69632 //单位字节

索引的优化

慢查询查看

在mysql数据库中,有慢查询语句的展示,在Mongodb中也有这样的实现名字是Profiling。
更改Mongodb的阈值,有三个级别的性质。

  • 0 代表的是不开启慢分析性质。

  • 1 根据处理时间将超过阈值的请求记录都记录到system.profile集合中。

  • 2 所有记录都将记录到集合system.profile中。
    在随着业务的发展,刚开始创建的索引可能不符合现在的业务需求。索引的数量并不是越多越好。
    索引能帮助我们提高查询的性能,但是会影响到插入和更新的性能。写入与更新操作每次都需要把索引更新。
    在此就可以根据慢请求的日志,进行索引创建的调整。

索引分析

Mongodb中有一个命令explain();帮助我们进行查询的慢分析。

db.getCollection("test").find().explain()
{    "queryPlanner" : {        "plannerVersion" : 1,        "namespace" : "test.test",        "indexFilterSet" : false,        "parsedQuery" : {},        "winningPlan" : {            "stage" : "COLLSCAN",  //代表的是进行的全盘扫描,没有利用到索引。当然也是查询条件中没有指定条件语句所致
            "direction" : "forward"
        },        "rejectedPlans" : []
    },    "serverInfo" : {        "host" : "237ae74dd4d9",        "port" : 27017,        "version" : "4.0.3",        "gitVersion" : "7ea530946fa7880364d88c8d8b6026bbc9ffa48c"
    },    "ok" : 1.0}

在name字段增加索引,执行查询计划。

db.getCollection("test").find({"name":"frq"}).explain()
{    "queryPlanner" : {        "plannerVersion" : 1,        "namespace" : "test.test",        "indexFilterSet" : false,        "parsedQuery" : {            "name" : {                "$eq" : "frq"
            }
        },        "winningPlan" : {            "stage" : "FETCH",            "inputStage" : {                "stage" : "IXSCAN",                "keyPattern" : {                    "name" : 1.0,                    "phone" : 1.0
                },                "indexName" : "name_1_phone_1",                "isMultiKey" : false,                "multiKeyPaths" : {                    "name" : [],                    "phone" : []
                },                "isUnique" : false,                "isSparse" : false,                "isPartial" : false,                "indexVersion" : 2,                "direction" : "forward",                "indexBounds" : {                    "name" : [ 
                        "["frq", "frq"]"
                    ],                    "phone" : [ 
                        "[MinKey, MaxKey]"
                    ]
                }
            }
        },        "rejectedPlans" : [ 
            {                "stage" : "FETCH",  执行完索引后,进行FETCH,读取出最终的                "inputStage" : {                    "stage" : "IXSCAN",  // 重点是这里 用到了索引字段,先在索引中查找。                    "keyPattern" : {                        "name" : 1.0
                    },                    "indexName" : "name_1",                    "isMultiKey" : false,                    "multiKeyPaths" : {                        "name" : []
                    },                    "isUnique" : false,                    "isSparse" : false,                    "isPartial" : false,                    "indexVersion" : 2,                    "direction" : "forward",                    "indexBounds" : {                        "name" : [ 
                            "["frq", "frq"]"
                        ]
                    }
                }
            }
        ]
    },    "serverInfo" : {        "host" : "237ae74dd4d9",        "port" : 27017,        "version" : "4.0.3",        "gitVersion" : "7ea530946fa7880364d88c8d8b6026bbc9ffa48c"
    },    "ok" : 1.0
}