最新 最热

Elasticsearch如何保证数据不丢失?

上篇文章提到过,在elasticsearch和磁盘之间还有一层cache也就是filesystem cache,大部分新增或者修改,删除的数据都在这层cache中,如果没有flush操作,那么就不能100%保证系统的数据不会丢失,比如突然断电或者机器宕机了,但实...

2018-05-15
0

Elasticsearch里面的segment合并

通过前面的文章,我们已经知道在elasticsearch中每个shard每隔1秒都会refresh一次,每次refresh都会生成一个新的segment,按照这个速度过不了多久segment的数量就会爆炸,所以存在太多的segment是一个大问题,因为每一个segmen...

es2
2018-05-14
0

关于elaticsearch中更新数据的几种方式

作为一个成熟的框架,Elasticsearch里面提供了丰富的操作数据的api,本篇我们就来学习一下在es中更新数据的几种方式。(一)普通更新(1)修改某个字段java api:注意部分更新功...

2018-05-14
0

如何优雅的全量读取Elasticsearch索引里面的数据

(一)scroll的介绍有时候我们可能想要读取整个es索引的数据或者其中的大部分数据,来重建索引或者加工数据,相信大多数人都会说这很简单啊直接用from+size就能搞定,但实际情况是from+size的分页方法不适合用于这种全量数据的...

es2
2018-05-14
0

如何备份ElasticSearch索引数据到HDFS上

在ElasticSearch里面备份策略已经比较成熟了目前在ES5.x中备份支持的存储方式有如下几种:在这里我们主要介绍如何备份索引数据到HDFS上。首先,我们先从名词概念上理解下备份相关术语:...

2018-05-14
0

kafka版本不一致导致的一个小问题(二)

背景介绍:我们公司的实时流项目现在用的spark streaming比较多,这里再说下版本:spark streaming2.1.0kafka 0.9.0.0spark streaming如果

2018-05-14
0

使用Java Rest Client操作Elasticsearch

Elasticsearch作为一个成熟的开源框架,对主流的多种客户端语言都支持,比如Java,JavaScript ,PHP,.Net,Python,Ruby,CURL当然还有一些小众的语言,虽然es官网没支持,但是个人开发者也有一些开源的,具体的可在es官网clients地址查看...

2018-05-14
0

简述ElasticSearch里面复杂关系数据的存储方式

在传统的数据库里面,对数据关系描述无外乎三种,一对一,一对多和多对多的关系,如果有关联关系的数据,通常我们在建表的时候会添加主外键来建立数据联系,然后在查询或者统计时候通过join来还原或者补全数据,最终得到我们需要的...

2018-05-14
0

理解elasticsearch的parent-child关系

前面文章介绍了,在es里面的几种数据组织关系,包括array[object],nested,以及今天要说的Parent-Child。Parent-Child与Nested非常类似,都可以用来处理一对多的关系,如果多对多的关系,那就拆分成一对多在处理。前面提到nested...

2018-05-14
0

ElasticSearch的一些删除用法笔记

前面关于es的文章基本上都是添加,修改,更新操作,删除的例子仅仅有根据id删除单条数据的。但作为一个重度使用es的用户,我们肯定得了解所有相关删除操作的命令,才能更加方便的使用和维护es。通常情况下,删除操作是非常敏感的...

es2
2018-05-14
0