从Kafka实时同步数据到日志服务指南

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 日志服务支持从Kafka 数据源实时同步数据,用户能够在日志服务对数据进行实时查询分析,配置报表和告警等。

背景

Kafka 作为使用最广泛的消息队列之一,被非常普遍的应用于日志场景。通过机器上的采集客户端采集日志或者使用Producer直接写入,再供下游的数据处理系统如Spark,Flink等进行消费,是非常常见的大数据架构。

阿里云日志服务底层存储是一个类似Kafka的数据系统,作为一个消息队列可以100%覆盖Kafka的功能。在此之上,作为阿里云上被广泛使用的日志分析产品,日志服务还提供了支持大规模数据集的实时查询分析能力,非常丰富的数据可视化报表,实时告警等功能。对于已经采集到Kafka中的数据,支持实时同步到日志服务中进行分析。

111.png

如何配置

在开始之前需要先开通日志服务,并且创建好用于保存数据的Project 和Logstore。关于Project 和Logstore的介绍可以参考官方文档 :https://help.aliyun.com/document_detail/28961.html

1 功能入口

222.png

2 选择Project与Logstore

在开始同步之前,需要提前创建好用于存储数据的Project 和Logstore,如果需要对数据进行查询还需要提前对数据配置好索引。

333.png

3 输入Kafka 配置

444.png

4 调度方式

日志服务通过Kafka 消费组流式消费数据,根据数据量自动水平扩展消费者个数。后台根据执行间隔定时调度同步任务,当同步任务从Kafka中超过5分钟没有消费到数据时当次任务结束,等待下一次调度。

555.png

查询日志

日志从Kafka 同步到日志服务后,可以在控制台查询分析。

666.png

更多资料

日志服务官方文档: https://help.aliyun.com/product/28958.html?spm=a2c4g.11186623.6.540.4af0bda9n7QANH
日志服务查询语法简介:https://help.aliyun.com/document_detail/43772.html


目录
相关文章
|
19天前
|
人工智能 数据可视化 开发工具
Git log 进阶用法(含格式化、以及数据过滤)
Git log 进阶用法(含格式化、以及数据过滤)
|
9天前
|
监控 NoSQL MongoDB
mongoDB查看数据的插入日志
【5月更文挑战第2天】mongoDB查看数据的插入日志
34 0
|
2天前
|
监控 NoSQL MongoDB
mongoDB查看数据的插入日志
【5月更文挑战第9天】mongoDB查看数据的插入日志
17 4
|
8天前
|
关系型数据库 MySQL 数据管理
MySQL通过 bin-log 恢复从备份点到灾难点之间数据
MySQL通过 bin-log 恢复从备份点到灾难点之间数据
|
21天前
|
机器学习/深度学习 前端开发 数据挖掘
工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断(下)
工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断
223 11
|
26天前
工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断2
工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断
|
27天前
|
机器学习/深度学习 前端开发 数据挖掘
R语言计量经济学:工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断
R语言计量经济学:工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断
|
3月前
|
消息中间件 安全 Kafka
2024年了,如何更好的搭建Kafka集群?
我们基于Kraft模式和Docker Compose同时采用最新版Kafka v3.6.1来搭建集群。
492 2
2024年了,如何更好的搭建Kafka集群?
|
4月前
|
消息中间件 存储 数据可视化
kafka高可用集群搭建
kafka高可用集群搭建
49 0
|
7月前
|
消息中间件 存储 Kubernetes
Helm方式部署 zookeeper+kafka 集群 ——2023.05
Helm方式部署 zookeeper+kafka 集群 ——2023.05
275 0

相关产品

  • 日志服务