Quick BI审计日志持久化联合解决方案

伴弋 2020-02-11

大数据 OSS 日志 Image 数据分析 同步 解决方案 存储 日志分析

作者:潘炎峰 更多内容详见数据中台官网 https://dp.alibaba.com
引言
随着网络信息化的成熟发展、“国家网络安全法规”的深入落实要求,企业组织也越来越重视操作日志的保存与分析,其中云计算中的资源的操作记录是一类非常重要的日志。阿里云构建了操作审计(ActionTrail)产品,为云上客户提供审计日志服务。那么如何利用阿里云操作审批(ActionTrail)来构建长周期的云上操作审计方案呢?今天,小编给大家推荐“ActionTrail+OSS+DLA+Quick BI”的组合解决方案,将ActionTrail的审计日志定时同步到OSS进行长周期保存,利用Data Lake Analytics将日志数据标准化,再基于Quick BI进行审计日志的主题式分析。
image

步骤一:ActionTrail审计日志:审计日志统一采集
操作审计(ActionTrail)会记录您的云账户资源操作,提供操作记录查询,并可以将审计事件保存到您指定的日志服务Logstore或者OSS存储空间。利用ActionTrail保存的所有操作记录,您可以实现安全分析、资源变更追踪以及合规性审计。需要开通操作审计功能,才可以实现审计日志统计收集。

步骤二:审计日志持久化存储:基于ActionTrail将日志同步到OSS
基于ActionTrail的创建跟踪功能,我们可以以便保存更长时间的审计事件。操作审计会将事件保存到我们指定的OSS Bucket中。

步骤三:日志标准化:基于DLA实现ActionTrail审计日志标准化
将ActionTrail的审计日志投递到OSS之后,我们发现递到OSS的日志格式是非HADOOP标准JSON格式且存在大量小文件,非常不便于审计日志解析和查看。联合DLA专项定制了ActionTrail日志清洗服务,基于ActionTrail日志清洗功能,我们可以快速实现ActionTrail日志数据的格式化,而且可以基于DLA实现亿级别数据的快速查询与分析。
image

· 标准化之后的数据格式如下:(以Quick BI日志说明为主)
1) 格式化后字段说明:
image

2)qbi_operation_type 的操作类别说明:
image

步骤四:日志分析:基于Quick BI实现审计日志自助分析
在DLA进行日志标准化基础之上,利用 Quick BI进行审计日志自助分析。在实际过程中,可以根据日志的来源系统进行业务拆分,形成不同业务分析主题,满足各业务审计日志查询要求。下面以Quick BI的审计日志为例,进行使用讲解。
1.创建DLA数据源连接
填写在Quick BI中新建DLA数据源连接,填写对应的数据库连接信息即可。
image

2.快速创建审计日志数据集
1)选择DLA标准化后的数据表,一键快捷创建数据集。如下所示:
image

2)在Quick BI的数据集管理功能中,进行数据集处理。“event_id”可以克隆字段并转换为度量并扩展为PV字段;“username”可以克隆字段并转换为度量并扩展为UV字段。如下所示:
image

  1. 创建审计日志分析主题(以Quick BI审计日志为例)
    在Quick BI的仪表板管理中,建立审计日志报表。Quick BI审计日志参考如下:

image

这样一来,基于QuickBI构建的长周期云上操作审计联合解决方案就配置完成啦,快来试一试吧!

阿里巴巴数据中台团队,致力于输出阿里云数据智能的最佳实践,助力每个企业建设自己的数据中台,进而共同实现新时代下的智能商业!
阿里巴巴数据中台解决方案,核心产品:
Dataphin,以阿里巴巴大数据核心方法论OneData为内核驱动,提供一站式数据构建与管理能力;
Quick BI,集阿里巴巴数据分析经验沉淀,提供一站式数据分析与展现能力;
Quick Audience,集阿里巴巴消费者洞察及营销经验,提供一站式人群圈选、洞察及营销投放能力,连接阿里巴巴商业,实现用户增长。
欢迎志同道合者一起成长!更多内容详见数据中台官网 https://dp.alibaba.com

登录 后评论
下一篇
云栖号
8062人浏览
2020-03-04
相关推荐
0
0
0
362