简介
踩入 Kubernetes 的坑以后,不可避免的就会遇到一个需求就是日志的集中采集和检索,这方面最负盛名的就是 ElasticSearch 了,这东西的强大是毋庸置疑的——又强又大。但是我多数时间跟日志打交道只会问一个问题:特定时间范围内,某应用都输出了什么日志?强大的全文检索能力,其实是很少用到的。但无论你用或者不用,索引就在那里,吃你传输和硬盘。
Loki 给穷人们带来了福音,它是一个可水平伸缩的、高可用的以及多租户的日志集中系统,有这么多功能,唯独没有全文检索。在其简介中,自称是受到 Prometheus 的启发:仅保存和处理元数据,而对日志正文不闻不问。
和 EFK 类似,Loki Stack 也由采集端、服务端和交互端三个部分构成,其中采集端是可变的,目前支持 Promtail、FluentBit 和 Fluentd 三种,服务端和交互端分别使用的是 Loki 和 Grafana。
部署
使用 Helm 可以非常方便的部署 Loki Stack,首先使用 helm repo add loki https://grafana.github.io/loki/charts && helm repo update
加入仓库并更新。
代码语言:javascript复制这里使用的是 Helm 3。
helm install stable/grafana
--set ingress.enabled=true
--set ingress.hosts={grafana.yamler.io}
--set persistence.enabled=true
--generate-name
首先安装 Grafana,并设置持久化存储以及 grafana.yamler.io
的域名。
接下来继续使用 Helm 安装 Loki:
代码语言:javascript复制helm install loki/loki
--set persistence.enabled=true
--set replicas=2 --generate-name
这里为 Loki 部署了两个实例的 Statefulset。并启用了持久化存储。
最后安装 Fluentbit 作为日志采集端:
代码语言:javascript复制helm install fluent-bit loki/fluent-bit
--set "loki.serviceName=loki-1581527457"
此处的服务名来自 Loki 部署的 Service 名称。
初始化
接下来登入 Grafana,添加 Loki 作为数据源,由于没有开启认证,因此只需要设置 URL 即可,例如:http://loki-1581527457:3100
。添加之后,就可以点击 Explore 按钮进入查询交互了。
查询
Grafana 中为 Loki 提供了两种类型的查询,分别是 Metrics 和 Log,也就是统计数字和日志本体。
Loki 使用一种称为 LogQL 的语法来进行日志检索,语法类似 PromQL。例如假设要查询 Loki 的日志:{app="loki"}
当然也可以使用 node
、container
等标签进行查询。具体标签生成的过程完全在采集器内部进行定义。
又或者查询一个 Metrics:
sum(count_over_time({job="fluent-bit"}[5m])) by (level)
,统计该任务的日志生成数量:
结论
除了上面演示的简单功能之外,Loki 还支持认证、监控、跟踪、多租户等丰富的功能(而且免费)。因此如果对全文检索没有执着需求的话,Loki 应该是个非常合适的替代方案,能很好很便宜地满足前面提到的简单需求。