前言: 在Lucene4.x之后,出现一个重大的特性,就是索引支持DocValues,这对于广大的solr和elasticsearch用户,无疑来说是一个福音,这玩意的出现通过牺牲一定的磁盘空间带来的好处主要有两个: (1)节省内存 (2)对排序,分组和一些聚合操作时能够大大提升性能
下面来详细介绍下DocValue的原理和使用场景
(一)什么是DocValues? DocValues其实是Lucene在构建索引时,会额外建立一个有序的基于document => field value的映射列表; (二)为什么要用DocValues ? 基于lucene的solr和es都是使用经典的倒排索引模式来达到快速检索的目的,简单的说就是建立 搜索词=》 文档id列表 这样的关系映射, 然后在搜索时,通过类似hash算法,来快速定位到一个搜索关键词,然后读取其的文档id集合,这就是倒排索引的核心思想,这样搜索数据 是非常高效快速的,当然它也是有缺陷的,假如我们需要对数据做一些聚合操作,比如排序,分组时,lucene内部会遍历提取所有出现在文档集合 的排序字段然后再次构建一个最终的排好序的文档集合list,这个步骤的过程全部维持在内存中操作,而且如果排序数据量巨大的话,非常容易就造成solr内存溢出和性能缓慢。 基于这个原因,在lucene4.x之后出现了docvalue这个新特性,在构建索引时会对开启docvalues的字段,额外构建一个已经排好序的文档到字段级别的一个列式存储映射,它减轻了在排序和分组时,对内存的依赖,而且大大提升了这个过程的性能,当然它也会耗费的一定的磁盘空间。 (三)什么时候应该用DocValues? 通过上面的剖析,散仙相信大家已经对DocValues有一个初步的了解了,至于它的应用场景,那么也非常明显了,总结起来主要以下几个方面: 1,需要聚合的字段,包括sort,agg,group,facet等 2,需要提供函数查询的字段 3,需要高亮的字段,这个确实能加速,但是散仙并不建议把高亮放在服务端程序做,建议放在前端实现,不容易出错而且总体性能比服务端高 4,需要参与自定义评分的字段,这个稍复杂,大多数人的场景中,不一定能用到,后面会单独写一篇文章介绍。 对于不需要参与上面任何一项的字段,可以选择关闭docvalues,这样可以节省一定的磁盘空间. (四)DocValues的种类 在lucene的枚举类DocValuesType 中,我们可以看见它声明了六个常量: 1, NONE 不开启docvalue时的状态 2, NUMERIC 单个数值类型的docvalue主要包括(int,long,float,double) 3, BINARY 二进制类型值对应不同的codes最大值可能超过32766字节, 4, SORTED 有序增量字节存储,仅仅存储不同部分的值和偏移量指针,值必须小于等于32766字节 5, SORTED_NUMERIC 存储数值类型的有序数组列表 6, SORTED_SET 可以存储多值域的docvalue值,但返回时,仅仅只能返回多值域的第一个docvalue 通常有四种docvalue存储场景: A: 字符串或UUID字段 单值 会选择SORTED作为docvalue存储 B: 字符串或UUID字段 多值 会选择SORTED_SET作为docvalue存储 C:数值或日期或枚举字段 单值 会选择NUMERIC 作为docvalue存储 D:数值或日期或枚举字段 多值 会选择SORTED_SET作为docvalue存储 注意,分词字段存储docvalue是没有意义的 (五)如何在Lucene,Solr,ElasticSearch中使用DocValues? 说完了概念方面的东西,下面来点实际的例子,来看下如何给索引加上docsvalue,只要加上docvalues后,排序,分组,聚合的时候 会自动使用docvalue提速,所以我们关注的重点是如何激活docvalue。 1,在原生Lucene中使用DocValues,这个稍麻烦,需要自定义组装,因为lucene是核心算法包,所以封装程度并不是很高,正是 由于这样,理解了lucene之后,再理解solr和elasticsearch是非常easy的。 下面是在lucene中存储docvalue例子,一个是string类型,一个是数值类型,分词类型在这里没有意义,不再提及:
如何读取:
2,在Solr中docvalue默认是全部关闭,比较严谨,大家可酌情开启
3,在ElasticSearch中,默认docvalue全部激活,比较简单暴力,大家可酌情关闭一些不需要使用docvalue的字段,以节省磁盘空间
最后再提一点,在和solr和es中,如果想要在自己写的插件中读取docvalue的值,读取方法和lucene的差不多,需要注意doule和float的的值转换。