SQL自动化审核初体验

简介:

一、缘起

2015.12.5,广州,ACOUG Asia Tour 广州站

第一次参加ACOUG论坛,会上盖老师分享道:“云时代的DBA将自后向前置、DevOps势在必行—最佳实践是SQL审核”,当时心头一股狂热,原来数据库还能这样玩。

后来也在公司试水SQL审核,制定SQL开发规范、培训开发人员、人肉审核、人肉发布,乐此不疲,以为这就是传说中的数据库DevOps最佳实践;试水一段时间后,发现效果甚微,整个SQL审核过程都是人工,效率很低,而且可笑的是,开发人员也有同样的DB操作权限,干啥要听你DBA的呢?当时很天真的认为,只要DBA在SQL方面比开发更专业,人家就会自觉遵守游戏规则。现在回头看,当时站的太高,过于理想,不够踏实。

2017.5.11-13,北京,DTCC-数据库技术大会

第一次参加DTCC,这应该是转型专职DBA以来,收获最大的3天,全场超过一半讲师都讲到DB自动化运维,自此自动化运维在心里埋下一颗种子。

后来也在公司试水自动化运维,尝试用Python开发了几个小工具,切身感受到自动化带来的便利,自动化确实能避免很多低价值、重复繁琐的劳动。同时也一直在思考,能否借助自动化来实现SQL审核呢?也算是机缘巧合吧,偶然在github上发现一个SQL审核的开源项目archer,折腾试用一番后,两年前的那种狂热又冒出来了。

二、平台介绍

archer

基于inception的自动化SQL操作平台,支持工单、审核、认证、邮件、OSC等功能。

github地址:https://github.com/jly8866/archer

如果对archer做一个分解的话,个人觉得可以分为inception和django

  • inception是内在,负责审核
  • django是外在,负责展示

ps:这种理解,不知道原作者会不会很郁闷,哈哈

f252c3b8e7b40c8462cce9d2f9acbb021268c9eb

inception

一个集审核、执行、备份及生成回滚语句于一身的MySQL自动化运维工具

github地址:https://github.com/mysql-inception/inception

c27243896678bc310664737eb3fd311f41b73f2d

Django

Django是一个开放源代码的Web应用框架,由Python写成。采用了MT'V的框架模式,即模型M,模板T和视图V。

三、二次开发

在archer的基础上也做了一些简单的二次开发:

  • 屏蔽单点登录
  • 修复邮件发送bug
  • 显示中文全名
  • 为工程师分配指定的数据库实例

接下来,计划在archer集成更多的功能:

  • MSDB
  • 数据归档
  • 数据库备份
  • 性能报告
  • 巡检报告
四、小结
目前,已经将archer部署到生产环境,也为新上线的某x项目成功发布DB脚本,后续准备逐步铺开。

总的来说,个人觉得效果还是ok的,起码在数据库自动化和DevOps走出了一步,对比两年前的人工审核SQL,总结两点感受最深的经验:

  • 一定要借助自动化工具/平台,纯人工效率实在低
  • 一定要找到合适的审核点,让大家都来遵守,对于SQL审核来说,就是要把DB操作权限掌握在DBA手里,不能对外开放,这点一定要掐死了!!!是的,掐死了,要狠!!!哈哈

五、附录:

最后附上几张平台截图:

f1ca74d5d57d8bc20bd881422bdb3f2ea90034e0


原文发布时间为:2018-01-29

本文作者:蓝剑锋

本文来自云栖社区合作伙伴“老叶茶馆”,了解相关信息可以关注“老叶茶馆”微信公众号

相关文章
|
4月前
|
SQL 分布式计算 NoSQL
【SQL 审核查询平台】Archery使用介绍
【SQL 审核查询平台】Archery使用介绍
183 0
【SQL 审核查询平台】Archery使用介绍
|
SQL 存储 OLAP
如何基于维度模型自动化生成SQL语句
众所周知数据分析的核心是数据,为了更容易的分析数据,数据模型的设计需要遵循一定的规范。当前最流行的联机分析处理(OLAP)的规范为维度建模规范。本文介绍Quick BI如何进行维度建模,基于维度模型如何来自动化的生成分析查询的SQL语句,从而使数据分析变得更容易。
2294 0
|
4月前
|
SQL 安全 数据库
如何防止删库跑路?使用NineData进行SQL变更审核!
在日常开发任务中,对核心库进行变更可能带来一系列风险,如删库跑路和数据泄露等。因此,在变更SQL之前,需要进行审核以确保变更合理、安全、规范。
694 1
|
7月前
|
SQL 数据库 数据安全/隐私保护
提高效率的神器!企业级SQL审核与开发工具
NineData SQL开发企业版是一款强大的数据库管理工具,旨在解决企业在数据库管理方面所面临的各种挑战。该工具提供了一整套企业级能力,包括团队协作、权限管控、审计日志、SSO单点登录等功能。它还提供超过100条SQL规范审核,帮助企业规范使用和变更数据库。通过该工具,用户可以简化繁琐的数据库管理任务,提高工作效率。此外,企业版还提供数据安全和隐私保护功能,确保数据的安全性。用户可以通过免费试用期来了解和体验该工具的功能和特性,并根据需求选择适合的计费方式购买。 NineData SQL开发企业版能够帮助企业解决数据库管理中的挑战,提高工作效率和数据安全性。
180 0
提高效率的神器!企业级SQL审核与开发工具
|
9月前
|
SQL 安全 JavaScript
SQL Server——自动化功能
不管是任何地方,数据备份都是很重要的一个环节,需要定时对数据库指定数据备份,为它设计一个备份的策略。但是如果指定某个人定时定点的进行备份这是很麻烦的,这时我们就可以使用SQL Server的自动化功能来完成备份操作。
|
9月前
|
SQL 数据库 数据库管理
Archery使用配置 【工单审核流详解】sql优化审核平台
Archery使用配置 【工单审核流详解】sql优化审核平台
|
9月前
|
SQL 关系型数据库 MySQL
Archery 系统配置 SQL优化审核平台配置【详解】
Archery 系统配置 SQL优化审核平台配置【详解】
|
9月前
|
机器学习/深度学习 SQL 数据采集
使用SQL和机器学习进行大规模自动化数据质量测试
使用SQL和机器学习进行大规模自动化数据质量测试
|
11月前
|
SQL 存储 运维
SQL自动化???
SQL自动化???
|
11月前
|
SQL JSON 测试技术
第三代api自动化测试框架使用教程(pytest+allure+sql+yaml)
第三代api自动化测试框架使用教程(pytest+allure+sql+yaml)