第 23 期:还原分组运算的本意

简介:

分组是 SQL 中常见的运算,但未必所有人都能深刻地理解它。

分组运算的实质是将一个集合按照某种规则拆分成若干个子集,也就是说,返回值应当是一个由集合构成的集合,但人们一般并不太关心构成这个集合的成员集合(我们称为分组子集),而是对这些子集的聚合值更感兴趣,因此,分组运算常常伴随着对子集的进一步汇总计算。

SQL 就是这么做的,在写有 GROUP BY 子句时,SELECT 部分除了分组字段外,就只能写入聚合运算表达式了。当然还有个原因是 SQL 没有显式的集合数据类型,无法返回集合的集合这类数据,也只能强迫实施聚合运算了。

久而久之,人们会认为分组总是需要配合后续的聚合运算,而忘记了分组和聚合其实是两个独立的步骤。

但是,我们仍然有对这些分组子集而不是聚合值更感兴趣的时候。

比如,我们想找出公司里有哪些员工和其他员工会在同一天过生日,很简单的思路是将员工按生日分组,然后找出成员数大于 1 的分组子集,再合并起来。这时候我们就不是只对聚合值(分组子集的成员数)感兴趣,而是对分组子集本身更感兴趣。

这个运算用 SQL 写起来就会比较啰嗦,需要用子查询,并且要遍历两次原集合。

SELECT * FROM employee WHERE birthday IN

( SELECT birthday FROM employee GROUP BY birthday HAVING COUNT(*)>1 )

(题外话:这里假定 birthday 字段就是生日,其实我们日常意义的生日是没有年份的,而数据表中的 birthday 字段则会有,这时候还需要把 birthday 转换成月和日再做 GROUP 和 WHERE,但对于集合化不彻底的 SQL,涉及两个成员的 IN 运算很难写,上面的 birthday 要改写类似 month(birthday()*100+day(birthday) 的样子,拼成一个单独的表达式才能使用 IN 来判断,书写要繁琐很多。)

有集合化更彻底的语法时,就可以保持住分组子集。这就是需要离散性来支持了,分组子集仍然是原集合成员构成。这样,分组和聚合还原成两个步骤,上面的运算就可以很清晰地写出来:

employee.group(month(birthday),day(birthday)).select(~.len()>1).conj()

(在这个表达式中我们使用了前面讲遍历语法时的 ~ 符号表示当前成员,也就是遍历过程中的某个分组子集。)

按 birthday 的月 / 日分组,过滤出成员数大于 1 的分组子集,然后求并集。事实上在做过滤时仍然要再二次遍历数据,但只是计数,不需要象 SQL 那样做比较,性能要好很多。

退一步讲,就算我们只对聚合值感兴趣,我们也可能需要保持住这些分组子集以便反复利用,计算出多种聚合值,而不是完成一次聚合后就将其丢弃,下次再计算时又要重新分组。分组是个成本不低的运算,现在一般使用 HASH 方法实现分组,计算和比较 HASH 值都要比简单遍历复杂很多。有些优化不好的计算方案还会使用排序的方法实现分组(很多报表工具是这么做的),性能更会差出一个级别来。

比如我们计算每个部门的人数,再计算出 10 人以上部门的人员平均年龄。这在 SQL 中就要写成两句,因为后者需要一个 HAVING 条件:

SELECT department, COUNT(*) FROM employee GROUP BY department

SELECT department,AVERAGE(age) FROM employee GROUP BY department HAVING COUNT(*)>=10

这里 GROUP 动作就要被执行两遍。

而如果能够保持分组子集,则只要做一次 group 就可以了:

g=employee.group(department)

g.new(~.department,~.len())

g.select(~.len()>=10).new(~.department,~.avg(age))

还有的可能是,我们确实只对一个聚合值感兴趣,但这个聚合值很难计算,并不能简单地用 SUM/COUNT 计算出来的,需要编段程序才行,这时候也需要保留分组子集,而用 SQL 就很难实现这种运算了。我们会在后续文章中举例。

分组的结果是集合的集合,它仍然是个集合,那显然还可以进一步分组。

g1=employee.group(year(birthday))          //按出生年份分组

g2=g1.group(year(birthday)%100\10)       //将所有分组子集按年代分组

g3=g1.(~.group(month(birthday))              //将每个分组子集按出生月份分组

后两步运算都会得到集合的集合的集合,三层或更深的情况在现实业务中很少碰到,但可以用来体会集合的思维方式以及分组运算的本质。

我们知道,SQL 针对 GROUP 后的结果集过滤专门设计了 HAVING 关键字,许多初学者对 HAVING 的理解和运用都不到位。其实,HAVING 从概念上讲是多余的,它和 WHERE 并没有任何差别,只是因为 SQL 无法保持分组子集,要把分组和聚合写在一句话中,又要和 WHERE 区分,然后硬造出来的一个关键字。如果能够保持分组子集后实现分步计算,HAVING 是没有必要的。

相关文章
|
1月前
|
数据处理 Python
不同类型数据间的混合运算
在编程和数据处理中,我们经常需要处理不同类型的数据,如整数、浮点数、字符串等。当这些不同类型的数据需要进行混合运算时,我们需要特别注意数据类型之间的转换和运算规则。本文将介绍不同类型数据间的混合运算,并附上相应的代码示例。
20 0
|
3月前
|
BI 索引 Python
python报表自动化系列 - 译码:将纯数字译码为Excel列坐标的字母索引表示形式
python报表自动化系列 - 译码:将纯数字译码为Excel列坐标的字母索引表示形式
22 1
|
8月前
|
运维 Shell Python
【运维知识高级篇】超详细的Shell编程讲解2(变量切片+统计变量长度+字串删除+字串替换+七种方法进行数值运算+整数比较+多整数比较+文件判断+字符串比对+正则比对+配合三剑客的高阶用法)(一)
【运维知识高级篇】超详细的Shell编程讲解2(变量切片+统计变量长度+字串删除+字串替换+七种方法进行数值运算+整数比较+多整数比较+文件判断+字符串比对+正则比对+配合三剑客的高阶用法)
89 0
|
8月前
|
存储 算法 JavaScript
设计并实现一个函数, 功能为给定一个存储为随机整数的数组,从中删除所有值为i的整数
设计并实现一个函数, 功能为给定一个存储为随机整数的数组,从中删除所有值为i的整数
|
8月前
|
运维 Shell Perl
【运维知识高级篇】超详细的Shell编程讲解2(变量切片+统计变量长度+字串删除+字串替换+七种方法进行数值运算+整数比较+多整数比较+文件判断+字符串比对+正则比对+配合三剑客的高阶用法)(二)
【运维知识高级篇】超详细的Shell编程讲解2(变量切片+统计变量长度+字串删除+字串替换+七种方法进行数值运算+整数比较+多整数比较+文件判断+字符串比对+正则比对+配合三剑客的高阶用法)(二)
92 0
|
Java Maven Ruby
去掉复杂的逻辑计算,get一下Aviator吧
去掉复杂的逻辑计算,get一下Aviator吧
359 0
|
C++ iOS开发
【C++之标准类型数据的格式输出1】输入一批数值,要求保留3位小数,且上下行小数点对齐
【C++之标准类型数据的格式输出1】输入一批数值,要求保留3位小数,且上下行小数点对齐
|
存储 数据库
长整数在插入较短的列时会被转换,但不会被截断为什么?公式是什么?
长整数在插入较短的列时会被转换,但不会被截断为什么?公式是什么?
|
存储
浮点数存储规则
浮点数存储规则
浮点数存储规则
|
PHP 开发者
合并运算| 学习笔记
快速学习合并运算。
93 0