近一年内对公司的 ELK 日志系统做过性能优化，也对 SkyWalking 使用的 ES 存储进行过性能优化，在此做一些总结。本篇主要是讲 ES 在 ELK 架构中作为日志存储时的性能优化方案。...

Druid是专用于基于大数据集的实时探索分析的开源数据存储。该系统包括列式存储，分布式的无共享架构，高级索引结构，可用于任意探索具有次秒级延迟的十亿行级的数据表。这篇文章我们主要描述Druid的架构，并且详细说明它如何...

Loki在分布式部署的模式下，保存Ingester服务的状态主要有3个渠道，分别是etcd、consul和基于gossip协议的memberlist。不管Loki用的是什么方式，它们最终都是将哈希环以KV的方式保存。再聊Loki之前，先来了解下一致性哈希的...

目前，外界与业内很多人对于数据中台的理解存在误区，一直只是在强调技术的作用。为了统一大家的认知，更加清晰的认识数据中台出现的意义。本文将从数据平台进化演变的角度，对数据中台进行深入的介绍。...

首先我们从实时生成的日志文件通过flume采集到kafka中。log日志的格式是app-yyyy-mm-dd.log

毫无疑问最近几年是在线教育和内容付费的风口期，尤其是今年，大量做教育的公司都获得数额不小的投资。我们不是要去追这个风口，而是因为在线教育的成熟，开始产生巨量有价值的数据，率先采用和融合大数据和AI技术的公司，必将强...

这篇文章原计划在 2020 年中智源大会举办完毕之后整理出来，奈何各种事情阻塞，一直拖延至今。恰逢年末跑一些数据，以及计划搭建一些日常辅助业务运营的实时看板，借着机会把内容整理出来。...

曾经的我也有这个想法，既然我们计算机中的计时器都是晶体震荡来计时，晶体理论上是非常精准，何必要再花钱去搭建一个时钟服务器呢，更何况还需要购买GPS或者北斗卫星的校时服务器。那么今天我们就来通过几个案例说说时钟服...

攻击溯源意如其名，就是回答在网络攻防对抗中谁攻击了我，攻击点在哪以及相关攻击路径。通过攻击溯源技术可以确定攻击源或攻击的中间介质，以及其相应的攻击路径，以此制定更有针对性的防护或反制措施，实现主动防御。可见攻击...

日志分析是目前重要的系统调试和问题排查的重要手段之一，而目前分布式系统由于实例和机器众多，所以构建一套统一日志系统是非常必要的；ELK提供了一整套解决方案，并且都是开源软件，之间互相配合使用，完美衔接，高效的满足了很...