Python爬虫之mongodb的索引操作

测试：插入10万条数据到数据库中

插入数据：

代码语言：javascript复制

for(i=0;i<100000;i  ){db.t1.insert({name:'test' i,age:i})}

创建索引前：

代码语言：javascript复制

db.t1.find({name:'test10000'})
db.t1.find({name:'test10000'}).explain('executionStats') # 显示查询操作的详细信息

创建索引：

代码语言：javascript复制

db.t1.ensureIndex({name:1})

创建索引后：

代码语言：javascript复制

db.t1.find({name:'test10000'}).explain('executionStats')

前后速度对比

默认情况下_id是集合的索引查看方式：db.集合名.getIndexes()

语法：db.集合名.dropIndex({'索引名称':1})

代码语言：javascript复制

db.t1.dropIndex({name:1})
db.t1.getIndexes()

在默认情况下mongdb的索引域的值是可以相同的，创建唯一索引之后，数据库会在插入数据的时候检查创建索引域的值是否存在，如果存在则不会插入该条数据，但是创建索引仅仅能够提高查询速度,同时降低数据库的插入速度。

代码语言：javascript复制

db.集合名.ensureIndex({"字段名":1}, {"unique":true})

根据唯一索引指定的字段的值，如果相同，则无法插入数据

代码语言：javascript复制

db.t1.ensureIndex({"name":1}, {"unique":true})
db.t1.insert({name: 'test10000'})

在进行数据去重的时候，可能用一个域来保证数据的唯一性，这个时候可以考虑建立复合索引来实现。

例如：抓全贴吧信息，如果把帖子的名字作为唯一索引对数据进行去重是不可取的，因为可能有很多帖子名字相同

建立复合索引的语法：db.collection_name.ensureIndex({字段1:1,字段2:1})

根据需要选择是否需要建立唯一索引
索引字段是升序还是降序在单个索引的情况下不影响查询效率，但是带复合索引的条件下会有影响
数据量巨大并且数据库的读出操作非常频繁的时候才需要创建索引，如果写入操作非常频繁，创建索引会影响写入速度例如：在进行查询的时候如果字段1需要升序的方式排序输出，字段2需要降序的方式排序输出，那么此时复合索引的建立需要把字段1设置为1，字段2设置为-1

数据库为什么要做读写分离（读写分离的意义）？

0 人点赞