轻量日志系统Loki

  • A+
所属分类:linux技术
摘要

Loki是受Prometheus启发由Grafana Labs团队开源的水平可扩展,高度可用的多租户日志聚合系统。 开发语言: Google Go。它的设计具有很高的成本效益,并且易于操作。使用标签来作为索引,而不是对全文进行检索,也就是说,你通过这些标签既可以查询日志的内容也可以查询到监控的数据签,极大地降低了日志索引的存储。系统架构十分简单,由以下3个部分组成 :


一、简 介

Loki是受Prometheus启发由Grafana Labs团队开源的水平可扩展,高度可用的多租户日志聚合系统。 开发语言: Google Go。它的设计具有很高的成本效益,并且易于操作。使用标签来作为索引,而不是对全文进行检索,也就是说,你通过这些标签既可以查询日志的内容也可以查询到监控的数据签,极大地降低了日志索引的存储。系统架构十分简单,由以下3个部分组成 :

  • Loki 是主服务器,负责存储日志和处理查询 。
  • promtail 是代理,负责收集日志并将其发送给 loki 。
  • Grafana 用于 UI 展示。

只要在应用程序服务器上安装promtail来收集日志然后发送给Loki存储,就可以在Grafana UI界面通过添加Loki为数据源进行日志查询(如果Loki服务器性能不够,可以部署多个Loki进行存储及查询)。作为一个日志系统不关只有查询分析日志的能力,还能对日志进行监控和报警

二、系 统 架 构

轻量日志系统Loki

  1. promtail收集并将日志发送给loki的 Distributor 组件

  2. Distributor会对接收到的日志流进行正确性校验,并将验证后的日志分批并行发送到Ingester

  3. Ingester 接受日志流并构建数据块,压缩后存放到所连接的存储后端

  4. Querier 收到HTTP查询请求,并将请求发送至Ingester 用以获取内存数据 ,Ingester 收到请求后返回符合条件的数据 ;

    如果 Ingester 没有返回数据,Querier 会从后端存储加载数据并遍历去重执行查询 ,通过HTTP返回查询结果

三、与 ELK 比 较

  • ELK虽然功能丰富,但规模复杂,资源占用高,操作苦难,很多功能往往用不上,有点杀鸡用牛刀的感觉。
  • 不对日志进行全文索引。通过存储压缩非结构化日志和仅索引元数据,Loki 操作起来会更简单,更省成本。
  • 通过使用与 Prometheus 相同的标签记录流对日志进行索引和分组,这使得日志的扩展和操作效率更高。
  • 安装部署简单快速,且受 Grafana 原生支持。

四、安 装 示 例

1、示例安装环境:

服务器 系统 IP
loki主机 Centos 7.6 10.0.0.171
promtail主机 Centos 7.6 10.0.0.175

 

 

 

 

2、下载安装软件

 

curl -O -L "https://github.com/grafana/loki/releases/download/v1.5.0/loki-linux-amd64.zip"  curl -O -L "https://github.com/grafana/loki/releases/download/v1.5.0/promtail-linux-amd64.zip" wget https://dl.grafana.com/oss/release/grafana-6.7.4-1.x86_64.rpm

 

3、自定义配置文件(loki.yaml和promtail.yaml),由自己创建:

loki.yaml:

auth_enabled: false  server:   http_listen_port: 3100  ingester:   lifecycler:     address: 127.0.0.1     ring:       kvstore:         store: inmemory       replication_factor: 1     final_sleep: 0s   chunk_idle_period: 5m   chunk_retain_period: 30s  schema_config:   configs:     - from: 2018-04-15       store: boltdb       object_store: filesystem       schema: v9       index:         prefix: index_         period: 168h  storage_config:   boltdb:     directory: /tmp/loki/index    filesystem:     directory: /tmp/loki/chunks  limits_config:   enforce_metric_name: false   reject_old_samples: true   reject_old_samples_max_age: 168h  #chunk_store_config: #  max_look_back_period: 0  #table_manager: #  chunk_tables_provisioning: #    inactive_read_throughput: 0 #    inactive_write_throughput: 0 #    provisioned_read_throughput: 0 #    provisioned_write_throughput: 0 #  index_tables_provisioning: #    inactive_read_throughput: 0 #    inactive_write_throughput: 0 #    provisioned_read_throughput: 0 #    provisioned_write_throughput: 0 #  retention_deletes_enabled: false #  retention_period: 0

promtail.yaml:

 

# Promtail Server Config server:   http_listen_port: 9080   grpc_listen_port: 0  # Positions positions:   filename: /tmp/positions.yaml  # Loki服务器的地址 clients:   - url: http://127.0.0.1:3100/loki/api/v1/push  scrape_configs:   - job_name: linux     static_configs:       - targets:           - localhost         labels:           job: messages           host: localhost           __path__: /var/log/messages*

 

4、安装Grafana

#安装依赖 yum install initscripts fontconfig   yum install freetype yum install urw-fonts  #安装 rpm -ivh grafana-6.7.4-1.x86_64.rpm

5、启动loki

systemctl start grafana-server.service

nohup ./loki-linux-amd64 -config.file=/etc/loki/loki.yaml & 

轻量日志系统Loki

 

 6、启动promtail

nohup ./promtail-linux-amd64 -config.file=/etc/loki/config.yaml &

轻量日志系统Loki

 

 7、重启Grafana

systemctl restart grafana-server.service

8、从浏览器打开grafana:http:IP:3000

轻量日志系统Loki

 

 点击”Greate a data source“

轻量日志系统Loki

 

 添加HTTP的参数,然后”Save & Test“.然后进入"Explore:

轻量日志系统Loki

 五、在被监控机(10.0.0.175)安装promtail日志采集系统,并采集 Tomcat运行日志和Web访问日志

修改配置文件config.yaml

# Promtail Server Config server:   http_listen_port: 9080   grpc_listen_port: 0  # Positions positions:   filename: /tmp/positions.yaml  # Loki服务器的地址 clients:   - url: http://10.0.0.141:3100/loki/api/v1/push  scrape_configs:   - job_name: WEB     static_configs:       - targets:           - localhost         labels:           job: tomcat           host: localhost           __path__: /application/tomcat/logs/*.log,/application/tomcat/logs/catalina.out

启动promtail

nohup ./promtail-linux-amd64 -config.file=/etc/loki/config.yaml &

轻量日志系统Loki

 

 轻量日志系统Loki

 

接着在loki主机重启grafana

systemctl start grafana-server.service

轻量日志系统Loki

 

 至此,LOKI日志聚合系统安装和配置完成。

注:如有需要LOKI的软件和配置文件的请留言。