纳尼,mysqldump导出的数据居然少了40万?

本文涉及的产品
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介:

0、导读

用mysqldump备份数据时,加上 -w 条件选项过滤部分数据,发现导出结果比实际少了40万,什么情况?

本文约1500字,阅读时间约5分钟。

1、问题

我的朋友小文前几天遇到一个怪事,他用mysqldump备份数据时,加上了 -w 选项过滤部分数据,发现导出的数据比实际上少了40万。

要进行备份表DDL见下:

CREATE TABLE `oldbiao` (

  `aaaid` int(11) NOT NULL,

  `bbbid` int(11) NOT NULL,

  `cccid` int(11) NOT NULL,

  `time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,

  `dddid` int(11) DEFAULT NULL,

  KEY `index01` (`ccccid`),

  KEY `index02` (`dddid`,`time`)

) ENGINE=InnoDB DEFAULT CHARSET=utf8;

顺便吐槽下,这个表DDL设计的真是low啊。没主键,允许NULL。

mysqldump备份指令增加的 -w/--where 选项是:

-w "time>‘2016-08-01 00:00:00'"

加上这个参数的作用是:只备份 2016-8-1 之后的所有数据,相当于执行了下面这样的SQL命令:

SELECT SQL_NO_CACHE * FROM t WHERE time>‘2016-08-01 00:00:00'

然后把导出的SQL文件恢复后,再随机抽查下数据看看是否有遗漏的。不查不知道,一查吓一跳,发现 2016-12-12 下午的数据是缺失的。经过仔细核查,发现比原数据大概少了40万条记录。

百思不得其解的小文请我帮忙排查问题。

2、排查

既然是少了一部分数据,那就要先定位到底是丢失了的是哪部分数据。

那么,如何定位呢?

搞数据库的人,应该都知道折半查找法,这是计算机科学里比较基础的概念之一。我们就利用这种方法来快速定位。

经过排查,发现是缺少的数据有个特点,根据时间排序,发现最早的数据是 2016-8-1 8点的,而我们上面设定的条件则是 2016-8-1 0点开始的所有数据,整整差了8个小时。

看到8小时这个特点,我想你应该大概想到什么原因了吧。对,没错,就是因为时区的因素导致的。

经过排查,发现是因为原先写数据时,是以 0时区 时间写入的,但执行mysqldump备份时则使用的是本地 东8区 的时间,所以就有了8小时的差距。

2、解决

知道了问题所在,方法就简单了。有两个方法:

1、修改mysqldump中的where条件时间值,减去8个小时。建议采用该方法。

mysqldump ... -w "time>‘2016-07-31 16:00:00'"

2、修改MySQL全局时区,从 0时区 改成 东8区,并且mysqldump加上 --skip-tz-utc 选项。这种方法需要修改MySQL的全局时区,可能会导致更多的业务问题,因此强烈不建议使用

mysqldump ... --skip-tz-utc -w "time>‘2016-08-01 08:00:00'"

问题暂且按下,我们先来看下时区因素怎么影响查询结果的。

先看下系统本地时间:

[yejr@imsyql]$ date -R

Wed, 21 Dec 2016 14:04:51 +0800


测试表DDL:

CREATE TABLE `t1` (

  `id` int(10) unsigned NOT NULL AUTO_INCREMENT,

...

  `c1` timestamp NULL DEFAULT NULL,

  PRIMARY KEY (`id`)

) ENGINE=InnoDB;


查看MySQL的时区设置:640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=
图1

然后写入一条数据:640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=
图2


第一次备份,用本地时间条件去过滤:

mysqldump -w "dt >= '2016-12-21 14:00:00'"

这种情况下,显然是没有结果的。640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=
图3


第二次备份,用本地时间减去8小时再去过滤:

mysqldump -w "dt >= '2016-12-21 06:00:00'"

这种就可以备份出数据了。640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=
图4


此外,我们注意到mysqldump的 --tz-utc 选项,它是和时区设定有关系的:

--tz-utc


SET TIME_ZONE='+00:00' at top of dump to allow dumping of TIMESTAMP data when a server has data in different time zones or data is being moved between servers with different time zones.

(Defaults to on; use --skip-tz-utc to disable.)

这个选项的作用,就是以 0时区  备份数据,把所有时间都转换成 0时区 的数据。比如本来是在 东8区(+08:00) 的时间 14:00:00,转换成 0时区 后,会变成 06:00:00,原来是 西8区(-08:00) 的时间14:00:00,则转换成 22:00:00。这个选项是默认启用的。

在上面第一次备份时没有数据,就是因为MySQL里本身存储的就是 0时区 的数据,mysqldump也设定了转换成 0时区,我们传递进去的参数却是 东8区 的时间,因此没有数据。

3、总结

本来只想简单写一下的,结果啰里啰嗦写了好多。

其实我们只需要注意一点,服务器在哪里,就是用哪里的时区,也就是 SYSTEM 时区,在做SQL查询以及mysqldump备份数据时,也使用服务器上的时间,而不使用我们本地时间。640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=

文章转自老叶茶馆公众号,原文链接:

https://mp.weixin.qq.com/s/Fd0eCvBbG2dhxQiz9rZmkg



相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
29天前
|
SQL Java 数据库连接
从来没想到我们会扒拉nohup文件去找我们想要的数据,然后往数据库中添加。。。...
从来没想到我们会扒拉nohup文件去找我们想要的数据,然后往数据库中添加。。。...
17 0
|
4月前
|
Oracle 关系型数据库 MySQL
不同数据库注释方法的随记
oracle、mysql、postgresql、Microsoft的注释方法
53 2
|
SQL 关系型数据库 MySQL
MySQL 定时备份的几种方式,这下稳了!
在MySQL中提供了命令行导出数据库数据以及文件的一种方便的工具mysqldump,我们可以通过命令行直接实现数据库内容的导出dump,首先我们简单了解一下mysqldump命令用法:
MySQL 定时备份的几种方式,这下稳了!
|
10月前
|
存储 SQL 关系型数据库
【收藏级】MySQL 100条命令,基本操作的所有内容(常看常新)(二)
【收藏级】MySQL 100条命令,基本操作的所有内容(常看常新)(二)
102 0
|
10月前
|
关系型数据库 MySQL 数据建模
【收藏级】MySQL 100条命令,基本操作的所有内容(常看常新)(一)
【收藏级】MySQL 100条命令,基本操作的所有内容(常看常新)
138 0
|
10月前
|
存储 SQL 监控
【收藏级】MySQL 100条命令,基本操作的所有内容(常看常新)(三)
【收藏级】MySQL 100条命令,基本操作的所有内容(常看常新)(三)
67 0
|
10月前
|
SQL 关系型数据库 MySQL
【收藏级】MySQL 100条命令,基本操作的所有内容(常看常新)(五)
【收藏级】MySQL 100条命令,基本操作的所有内容(常看常新)(五)
70 0
|
11月前
|
SQL 运维 关系型数据库
我用几行代码实现了mysql数据库的自动备份,老板说小伙子不错!
我用几行代码实现了mysql数据库的自动备份,老板说小伙子不错!
|
关系型数据库 MySQL
mysql高级语句(一)(总有一个人的出现,让你的生活不再继续糟糕)(二)
mysql高级语句(一)(总有一个人的出现,让你的生活不再继续糟糕)(二)
60 0
mysql高级语句(一)(总有一个人的出现,让你的生活不再继续糟糕)(二)
|
关系型数据库 MySQL
mysql高级语句(一)(总有一个人的出现,让你的生活不再继续糟糕)(三)
mysql高级语句(一)(总有一个人的出现,让你的生活不再继续糟糕)(三)
69 0
mysql高级语句(一)(总有一个人的出现,让你的生活不再继续糟糕)(三)