“ etcd 作为 Kubernetes 集群的元数据存储，是被业界广泛使用的强一致性 KV 存储，但近日被挖掘出一个存在 3 年之久的数据不一致 bug——client 写入后无法在异常节点读取到数据，即数据丢失。本文介绍了我们是如何从问...

fluentd 作为开源的数据收集框架。C/Ruby开发，支持使用JSON文件来统一日志数据。可插拔架构，支持各种不同种类和格式的数据源和数据输出。最后它也同时提供了高可靠和很好的扩展性，fluentd 的性能已在许多大型服务中得到...

我们为什么要关注业务的IO行为，或者IO访问模型呢？原因很简单，任何系统都要关注自己服务的对象，存储系统服务的对象就是上层应用，所以存储的研发离不开对业务行为的分析和研究。存储系统的整体设计和架构，是多种因素综合权衡...

当客户希望在生产环境中使用NiFi时，这些通常是第一个提出的问题。他们想知道他们将需要多少硬件，以及NiFi是否可以容纳其数据速率。

我是在六年前一个令人兴奋的时刻加入到里了LinkedIn公司。从那个时候我们就开始突破传统整体的(monolithic)、集中式的数据库限制，然后切换到一个特殊的分布式系统。这是一件令人兴奋的事情：重新构建、部署，这些分布式图...

Elasticsearch（以下简称ES）是近年来炙手可热的开源分布式搜索分析引擎，通过简单部署，就可以轻松实现日志实时分析、全文检索、结构化数据分析等多重诉求，并大幅降低挖掘数据价值的成本。本文即将介绍腾讯云 Elasticsearch ...

数据是一切应用和服务的核心，特别是目睹了一次次“删库跑路”引发的惨剧之后，我们更能深入体会到数据存储与备份的重要性。Docker 也为我们提供了方便且强大的方式去处理容器的数据。在这一篇文章中，我们将带你通过理论...

依赖分布式系统的公司组织和团队经常使用Go语言编写其应用程序，以利用Go语言诸如通道和goroutine之类的并发功能。如果你负责研发或运维Go应用程序，则考虑周全的日志记录策略可以帮助你了解用户行为，定位错误并监控应用...

output是Logstash的最后阶段，一个事件可以经过多个输出，而一旦所有输出处理完成，整个事件就执行完成。 一些常用的输出包括：

grok是一个十分强大的logstash filter插件，他可以通过正则解析任意文本，将非结构化日志数据弄成结构化和方便查询的结构。他是目前logstash 中解析非结构化日志数据最好的方式。...