什么是脏数据?怎样用箱形图分析异常值?终于有人讲明白了

云栖号资讯小哥 2020-05-29

大数据 数据挖掘

云栖号资讯:【点击查看更多行业资讯
在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来!

导读:数据质量分析是数据挖掘中数据准备过程的重要一环,是数据预处理的前提,也是数据挖掘分析结论有效性和准确性的基础。没有可信的数据,数据挖掘构建的模型将是空中楼阁。

数据质量分析的主要任务是检查原始数据中是否存在脏数据。脏数据一般是指不符合要求以及不能直接进行相应分析的数据。在常见的数据挖掘工作中,脏数据包括:缺失值、异常值、不一致的值、重复数据及含有特殊符号(如#、¥、*)的数据。

本文将主要对数据中的缺失值、异常值和一致性进行分析。

158A78BC_8E56_4eb8_98CD_B2F368E68EDB

01 缺失值分析

数据的缺失主要包括记录的缺失和记录中某个字段信息的缺失,两者都会造成分析结果不准确。下面从缺失值产生的原因及影响等方面展开分析。

1. 缺失值产生的原因

缺失值产生的原因主要有以下3点:

有些信息暂时无法获取,或者获取信息的代价太大。
有些信息是被遗漏的。可能是因为输入时认为该信息不重要、忘记填写或对数据理解错误等一些人为因素而遗漏,也可能是由于数据采集设备故障、存储介质故障、传输媒体故障等非人为原因而丢失。
属性值不存在。在某些情况下,缺失值并不意味着数据有错误。对一些对象来说某些属性值是不存在的,如一个未婚者的配偶姓名、一个儿童的固定收入等。

2. 缺失值的影响

缺失值会产生以下的影响:

数据挖掘建模将丢失大量的有用信息。
数据挖掘模型所表现出的不确定性更加显著,模型中蕴含的规律更难把握。
包含空值的数据会使建模过程陷入混乱,导致不可靠的输出。

3. 缺失值的分析

对缺失值的分析主要从以下两方面进行:

使用简单的统计分析,可以得到含有缺失值的属性的个数以及每个属性的未缺失数、缺失数与缺失率等。
对于缺失值的处理,从总体上来说分为删除存在缺失值的记录、对可能值进行插补和不处理3种情况。

E6AE4429_AA5C_44c4_B7AF_2F78DB85B8AF

02 异常值分析

异常值分析是检验数据是否有录入错误,是否含有不合常理的数据。忽视异常值的存在是十分危险的,不加剔除地将异常值放入数据的计算分析过程中,会对结果造成不良影响;重视异常值的出现,分析其产生的原因,常常成为发现问题进而改进决策的契机。

异常值是指样本中的个别值,其数值明显偏离其他的观测值。异常值也称为离群点,异常值分析也称为离群点分析。

  1. 简单统计量分析

在进行异常值分析时,可以先对变量做一个描述性统计,进而查看哪些数据是不合理的。最常用的统计量是最大值和最小值,用来判断这个变量的取值是否超出了合理范围。如客户年龄的最大值为199岁,则判断该变量的取值存在异常。

  1. 3σ原则

如果数据服从正态分布,在3σ原则下,异常值被定义为一组测定值中与平均值的偏差超过3倍标准差的值。在正态分布的假设下,距离平均值3σ之外的值出现的概率为P(|x-μ|>3σ)≤0.003,属于极个别的小概率事件。

如果数据不服从正态分布,也可以用远离平均值的标准差倍数来描述。

  1. 箱型图分析

箱型图提供了识别异常值的一个标准:异常值通常被定义为小于QL -1.5IQR或大于QU +1.5IQR的值。

QL称为下四分位数,表示全部观察值中有四分之一的数据取值比它小;
QU称为上四分位数,表示全部观察值中有四分之一的数据取值比它大;
IQR称为四分位数间距,是上四分位数QU与下四分位数QL之差,其间包含了全部观察值的一半。

箱型图依据实际数据绘制,对数据没有任何限制性要求,如服从某种特定的分布形式,它只是真实直观地表现数据分布的本来面貌;另一方面,箱型图判断异常值的标准以四分位数和四分位距为基础,四分位数具有一定的鲁棒性:多达25%的数据可以变得任意远而不会严重扰动四分位数,所以异常值不能对这个标准施加影响。

由此可见,箱型图识别异常值的结果比较客观,在识别异常值方面有一定的优越性,如图3-1所示。

E555866B_635B_4a21_AC9B_20DEF52BEE11

D9CD8088_01BF_4eb0_8388_5CD437523216

import pandas as pd
catering_sale = '../data/catering_sale.xls'  # 餐饮数据
data = pd.read_excel(catering_sale, index_col='日期')
# 读取数据,指定“日期”列为索引列
print(data.describe())

代码清单3-1的运行结果如下:

           销量
count   200.000000
mean   2755.214700
std     751.029772
min      22.000000
25%    2451.975000
50%    2655.850000
75%    3026.125000
max    9106.440000

其中count是非空值数,通过len(data)可以知道数据记录为201条,因此缺失值数为1。另外,提供的基本参数还有平均值(mean)、标准差(std)、最小值(min)、最大值(max)以及1/4、1/2、3/4分位数(25%、50%、75%)。

更直观地展示这些数据并且可以检测异常值的方法是使用箱型图。其Python检测代码如代码清单3-2所示。

代码清单3-2 餐饮日销额数据异常值检测

import matplotlib.pyplot as plt# 导入图像库
plt.rcParams['font.sans-serif'] = ['SimHei']# 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号

plt.figure()  # 建立图像
p = data.boxplot(return_type='dict')  # 画箱型图,直接使用DataFrame的方法
x = p['fliers'][0].get_xdata()  # 'flies'即为异常值的标签
y = p['fliers'][0].get_ydata()
y.sort()  # 从小到大排序,该方法直接改变原对象
'''
用annotate添加注释
其中有些相近的点,注释会出现重叠,难以看清,需要一些技巧来控制
以下参数都是经过调试的,需要具体问题具体调试
'''
for i in range(len(x)):
    if i>0:
        plt.annotate(y[i], xy=(x[i],y[i]), xytext=(x[i]+0.05 -0.8/(y[i]-y[i-1]), y[i]))
    else:
        plt.annotate(y[i], xy=(x[i],y[i]), xytext=(x[i]+0.08,y[i]))

plt.show()  # 展示箱型图

C8FDFA17_430B_4dbe_80C4_F66B6E331490

从图3-2可以看出,箱型图中超过上下界的7个日销售额数据可能为异常值。结合具体业务可以把865.0、4060.3、4065.2归为正常值,将22.0、51.0、60.0、6607.4、9106.44归为异常值。最后确定过滤规则为日销额在400元以下或5000元以上则属于异常数据,编写过滤程序,进行后续处理。

03 一致性分析

数据不一致性是指数据的矛盾性、不相容性。直接对不一致的数据进行挖掘,可能会产生与实际相违背的挖掘结果。

在数据挖掘过程中,不一致数据的产生主要发生在数据集成的过程中,可能是由于被挖掘数据来自于不同的数据源、对于重复存放的数据未能进行一致性更新造成的。

例如,两张表中都存储了用户的电话号码,但在用户的电话号码发生改变时只更新了一张表中的数据,那么这两张表中就有了不一致的数据。

关于作者:张良均,资深大数据挖掘与分析专家、模式识别专家、AI技术专家。有10余年大数据挖掘与分析经验,擅长Python、R、Hadoop、Matlab等技术实现的数据挖掘与分析,对机器学习等AI技术驱动的数据分析也有深入研究。

【云栖号在线课堂】每天都有产品技术专家分享!
课程地址:https://yqh.aliyun.com/zhibo

立即加入社群,与专家面对面,及时了解课程最新动态!
【云栖号在线课堂 社群】https://c.tb.cn/F3.Z8gvnK

原文发布时间:2020-05-29
本文作者: 张良均 谭立云
本文来自:“大数据DT 微信公众号”,了解相关信息可以关注“大数据DT

登录 后评论
下一篇
云栖号资讯小编
11443人浏览
2020-07-13
相关推荐
Lisp的本质
1538人浏览
2012-12-02 21:13:00
Lisp的本质(The Nature of Lisp)
1314人浏览
2018-03-21 08:34:57
Lisp的本质(The Nature of Lisp)
1264人浏览
2018-04-10 08:58:54
Lisp的本质(The Nature of Lisp)
967人浏览
2018-03-11 09:16:00
0
0
0
630