一、简 介 Loki是受Prometheus启发由Grafana Labs团队开源的水平可扩展，高度可用的多租户日志聚合系统。 开发语言: Google Go。它的设计具有很高的成本效益，并且易于操作。使用标签来作为索引，而不是对全文进行检索，也就是说，你通过这些标签既可以查询日志的内容也可以查询到监控的数据签，极大地降低了日志索引的存储。系统架构十分简单，由以下3个部分组成 ：
Loki 是主服务器，负责存储日志和处理查询 。 promtail 是代理，负责收集日志并将其发送给 loki 。 Grafana 用于 UI 展示。
只要在应用程序服务器上安装promtail来收集日志然后发送给Loki存储，就可以在Grafana UI界面通过添加Loki为数据源进行日志查询（如果Loki服务器性能不够，可以部署多个Loki进行存储及查询）。作为一个日志系统不光只有查询分析日志的能力，还能对日志进行监控和报警。
image.png
Loki文档网址：https://grafana.com/docs/loki/latest/
下载网址：https://github.com/grafana/loki/releases
二、原理分析 promtail收集并将日志发送给loki的 Distributor 组件 Distributor会对接收到的日志流进行正确性校验，并将验证后的日志分批并行发送到Ingester Ingester 接受日志流并构建数据块，压缩后存放到所连接的存储后端 Querier 收到HTTP查询请求，并将请求发送至Ingester 用以获取内存数据 ，Ingester 收到请求后返回符合条件的数据 ； 如果 Ingester 没有返回数据，Querier 会从后端存储加载数据并遍历去重执行查询 ，通过HTTP返回查询结果
三、与 ELK 比 较优势 ELK虽然功能丰富，但规模复杂，资源占用高，操作苦难，很多功能往往用不上，有点杀鸡用牛刀的感觉。 loki 不对日志进行全文索引。通过存储压缩非结构化日志和索引元数据，Loki 操作起来会更简单，更省成本。 通过使用与 Prometheus 相同的标签记录流对日志进行索引和分组，这使得日志的扩展和操作效率更高。 安装部署简单快速，且受 Grafana 原生支持。
四、下载(这个版本可用)
代码语言：javascript复制curl -O -L "https://github.com/grafana/loki/releases/download/v1.5.0/loki-linux-amd64.zip"
curl -O -L "https://github.com/grafana/loki/releases/download/v1.5.0/promtail-linux-amd64.zip"
wget https://dl.grafana.com/oss/release/grafana-7.1.0-1.x86_64.rpm复制
五、 安装loki和grafana
先将loki-linux-amd64.zip和grafana-7.1.0-1.x86_64.rpm 上传到日志服务器； 193 再将promtail-linux-amd64.zip 上传到应用服务器 158-178 在日志服务器 上创建目录
代码语言：javascript复制mkdir /datamkdir /data/loki
mkdir /data/loki/{chunks,index}复制
mkdir /usr/local/loki
unzip loki-linux-amd64.zip
mv loki-linux-amd64 /usr/local/loki/
cd /usr/local/loki/
vim config.yaml
-------------------------
auth_enabled: false
server:
http_listen_port: 3100
ingester:
lifecycler:
address: 10.24.70.193
ring:
kvstore:
store: inmemory
replication_factor: 1
final_sleep: 0s
chunk_idle_period: 5m
chunk_retain_period: 30s
schema_config:
configs:
- from: 2021-07-01
store: boltdb
object_store: filesystem
schema: v11
index:
prefix: index_
period: 168h #每张表的时间范围7天
storage_config:
boltdb:
directory: /data/loki/index #索引文件存储地址
filesystem:
directory: /data/loki/chunks #块存储地址
limits_config:
enforce_metric_name: false
reject_old_samples: true
reject_old_samples_max_age: 168h
chunk_store_config:
# 最大可查询历史日期 28天,这个时间必须是schema_config中的period的倍数，否则报错。
max_look_back_period: 672h
# 表的保留期28天
table_manager:
retention_deletes_enabled: true
retention_period: 672h复制
启动loki
代码语言：javascript复制nohup ./loki-linux-amd64 -config.file=./config.yaml >./loki.log 2>&1 &复制
安装grafana
代码语言：javascript复制rpm -ivh ./grafana-7.1.0-1.x86_64.rpm 复制
报错：
yum install fontconfig urw-fonts -y复制
安装的版本： fontconfig.x86_64 0:2.13.0-4.3.el7 urw-base35-fonts.noarch 0:20170801-10.el7
代码语言：javascript复制rpm -ivh ./grafana-7.1.0-1.x86_64.rpm 复制
systemctl daemon-reload
systemctl enable grafana-server.service
systemctl start grafana-server.service
systemctl status grafana-server.service复制
在应用服务器安装 promtail
应用服务器158,上传promtail-linux-amd64.zip后解压
代码语言：javascript复制mkdir /usr/local/promtail
unzip promtail-linux-amd64.zip
vim promtail.yaml
------------------------
server:
http_listen_port: 9080
grpc_listen_port: 0
positions:
filename: ./positions.yaml
clients:
- url: http://10.24.70.193:3100/loki/api/v1/push
scrape_configs:
#ucenter1
- job_name: ucenter1
static_configs:
- targets:
- 10.24.70.158
- labels:
job: ucenter1
host: 10.24.70.158
__path__: /usr/local/tomcat/logs/user-center/log_error.log复制
启动
代码语言：javascript复制nohup ./promtail-linux-amd64 -config.file=./promtail.yaml > ./promtail.log 2>&1&复制
最后在grafana上配置 默认账号admin 密码admin
http://172.26.189.214:3100 这个地址就是之前启动loki的服务器地址，端口3100
{job="yszs1"}
和之前promtail.yaml配置文件中的 job: yszs1 对应。
代码语言：javascript复制#yszs
- job_name: yszs1
static_configs:
- targets:
- 8.142.0.103
- labels:
job: yszs1
host: 8.142.0.103
__path__: /var/shida/logs/ys/log_error.log复制
5 其他
grafana之Variables变量的使用
Grafana的介绍与使用
grafana 文档
loki 文档
label的使用 官网label介绍
promtail 文档
LogQL
