用Grafana为Elasticsearch做日志分析

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
可观测可视化 Grafana 版,10个用户账号 1个月
简介: 版权声明:本文为博主chszs的原创文章,未经博主允许不得转载。 https://blog.csdn.net/chszs/article/details/50373453 用Grafana为Elasticsearch做日志分析作者:chszs,未经博主允许不得转载。
版权声明:本文为博主chszs的原创文章,未经博主允许不得转载。 https://blog.csdn.net/chszs/article/details/50373453

用Grafana为Elasticsearch做日志分析

作者:chszs,未经博主允许不得转载。经许可的转载需注明作者和博客主页:http://blog.csdn.net/chszs

Grafana是一个开源的、功能强大的指标仪表板和图形编辑器工具,它面向Graphite、Elasticsearch、OpenTSDB、Prometheus和InfluxDB等数据源。目前Grafana的最新版本为2.6版。

Grafana仪表板界面如下:
这里写图片描述

Graphite:Graphite是一个可扩展的实时图表,最新版本为0.9.10,地址: http://graphite.wikidot.com/
这里写图片描述

OpenTSDB:OpenTSDB是一个基于HBase的分布式、可扩展的、基于时间序列的实时监控信息收集和展示平台。它支持秒级数据采集metrics,使用HBase进行永久存储,可以做容量规划,并很容易的接入到现有的监控系统里。OpenTSDB可以从大规模的设备中获取相应的metrics并进行存储、索引以及服务,从而使得这些数据更容易让人理解,如web化,图形化等。http://opentsdb.net/index.html
这里写图片描述

Prometheus:是一个开源的系统和服务的监控系统。地址: https://github.com/prometheus/prometheus
这里写图片描述

InfluxDB:InfluxDB是一个开源的、分布式的、基于时间序列的数据库,它没有外部依赖。InfluxDB可用于记录测量、事件以及性能分析。地址: https://influxdata.com/

Grafana可以作为Kibana的替代品。Grafana最令人称道的是它提供的可视化仪表板工具,可以汇集各种数据源(比如InfluxDB)的测量数据并以图形方式显示。Grafana是Kinana的一个分支,但它没有提供对以Elasticsearch作为数据源的支持。还好在Grafana 2.5版以后,增加了对以Elasticsearch作为数据源的支持。在Sematext数据分析网站有介绍。

Sematext网站:https://sematext.com/

Elasticsearch通常不用于存储测量数据,而是常常用于存储随时间不停记录的数据,比如日志数据或事件数据(可以想想物联网IoT)。Grafana 2.5在显示方面只支持数值类型的显示,但在2.6版开始支持文本数据的表格显示。

Grafana的安装很简单,以Debian安装为例:

执行命令:

$ wget https://grafanarel.s3.amazonaws.com/builds/grafana_2.6.0_amd64.deb
$ sudo apt-get install -y adduser libfontconfig
$ sudo dpkg -i grafana_2.6.0_amd64.deb

启动服务器:

$ sudo service grafana-server start
相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
目录
相关文章
|
2月前
|
Prometheus Cloud Native 数据库
Grafana 系列文章(九):开源云原生日志解决方案 Loki 简介
Grafana 系列文章(九):开源云原生日志解决方案 Loki 简介
|
2月前
|
JSON Prometheus Cloud Native
Grafana 系列 - 统一展示 -8-ElasticSearch 日志快速搜索仪表板
Grafana 系列 - 统一展示 -8-ElasticSearch 日志快速搜索仪表板
|
25天前
|
存储 监控 数据可视化
Nginx+Promtail+Loki+Grafana Nginx日志展示
通过这些步骤,你可以将Nginx的日志收集、存储、查询和可视化整合在一起。这样,你就可以在Grafana中轻松地创建和展示Nginx日志的图表和面板。
31 3
|
2月前
|
JSON Prometheus Cloud Native
Grafana 系列 -Loki- 基于日志实现告警
Grafana 系列 -Loki- 基于日志实现告警
|
2月前
|
存储 数据可视化 索引
Grafana 系列 - 统一展示 -7-ElasticSearch 数据源
Grafana 系列 - 统一展示 -7-ElasticSearch 数据源
|
2月前
|
JSON Prometheus Cloud Native
Grafana 系列文章(十二):如何使用 Loki 创建一个用于搜索日志的 Grafana 仪表板
Grafana 系列文章(十二):如何使用 Loki 创建一个用于搜索日志的 Grafana 仪表板
|
2月前
|
存储 Prometheus Cloud Native
Grafana 系列文章(十一):Loki 中的标签如何使日志查询更快更方便
Grafana 系列文章(十一):Loki 中的标签如何使日志查询更快更方便
|
2月前
|
JSON Prometheus Cloud Native
Grafana 系列文章(六):Grafana Explore 中的日志
Grafana 系列文章(六):Grafana Explore 中的日志
|
24天前
|
Java
使用Java代码打印log日志
使用Java代码打印log日志
77 1
|
25天前
|
Linux Shell
Linux手动清理Linux脚本日志定时清理日志和log文件执行表达式
Linux手动清理Linux脚本日志定时清理日志和log文件执行表达式
78 1