备案控制台
探索云世界
开发者社区 数据库 文章 正文

Redis数据迁移与校验

2019-08-08 3240
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云数据库 Redis 版，社区版 2GB
推荐场景：
搭建游戏排行榜
简介： Redis 数据迁移 校验

  Redis常见的数据迁移方式有以下三种：RDB迁移、AOF迁移、主从复制。
  使用RDB和AOF文件可以实现跨网络隔离的数据迁移，但是无法做到增量迁移。主从复制可以实现增量迁移但是无法跨网络环境。另外，在过去对于数据迁移后的校验缺乏良好的手段。
  本文对一些开源工具进行调研与实践，结果如下：

一、Redis数据迁移

1.1 Redis数据迁移工具

1.1.1 redis-migration

  redis-migrate是一款轻量级的redis数据迁移工具，保持redis源码文件不做改动的前提下，只新增加了一个"redis-migration.c"文件。
  redis-migrate通过伪装成从库，获取数据文件并进行解析处理。redis-migration在迁移过程中对数据做了落地处理，工具本身没有对数据进行加载，内存开销很小。另外在迁移RDB文件时采用RTT这样一个时间窗口，在这个时间窗口里并发多个客户端就可以避免系统等待，极大提高性能；另外，AOF迁移时候使用了pipeline特性，批量发送，减少RTT来加速迁移。

1.1.2 redis-migrate-tool

  Redis-Migrate-Tool(RMT)，是唯品会开源的redis数据迁移工具，主要用于异构redis集群间的数据在线迁移，数据迁移过程中源集群仍可以正常接受业务读写请求，无业务中断服务时间。
  RMT启动后模拟成redis从库，请求主库的全量数据和增量数据。RMT收到数据之后解析成redis协议格式的写操作，然后发送给目标库。

1.1.3 redis-port

  redis-port是一组开源工具集合，主要用于Redis节点间的数据库同步、数据导入、数据导出，支持 Redis的跨版本数据迁移。

1.1.4 redis-shake

  redis-shake是阿里基于redis-port基础上进行改进的一款产品。它支持解析、恢复、备份、同步四个功能。
  redis-shake解决了下面四个问题：

  1. 源库目标库版本不一致
  2. 为实现平滑迁移，要求能做增量同步
  3. 能快速实现多库批量同时迁移
  4. 迁移速度非常快，基本实现秒级迁移
恢复restore：将RDB文件恢复到目的redis数据库。
备份dump：将源redis的全量数据通过RDB文件备份起来。
解析decode：对RDB文件进行读取，并以json格式解析存储。
同步sync：支持源redis和目的redis的数据同步，支持全量和增量数据的迁移，支持从云下到阿里云云上的同步，也支持云下到云下不同环境的同步，支持单节点、主从版、集群版之间的互相同步。需要注意的是，如果源端是集群版，需要搭建多条链路从不同的db结点进行拉取，同时源端不能开启move slot功能；对于目的端，如果是集群版，写入可以是1个或者多个db结点。
同步rump：支持源redis和目的redis的数据同步，仅支持全量的迁移。采用scan和restore命令进行迁移，支持不同云厂商不同redis版本的迁移。

  在上面的几款工具中，除redis-shake外的几款工具已经失去更新，所以本文将介绍redis-shake这款工具。

1.2 redis-shake介绍

  redis-shake的基本原理就是模拟一个从节点加入源redis集群，首先进行全量拉取并回放，然后进行增量的拉取（通过psync命令）。
_

./redis-shake -type=dump  -conf=redis-shake.conf #备份
./redis-shake -type=decode  -conf=redis-shake.conf #解析
[root@xsj redis-shake]# cat dump.rdb.0 
{"db":0,"type":"string","expireat":0,"key":"name","key64":"bmFtZQ==","value64":"emo="}
{"db":0,"type":"string","expireat":0,"key":"sj","key64":"c2o=","value64":"Mg=="}
{"db":0,"type":"string","expireat":0,"key":"a","key64":"YQ==","value64":"MQ=="}
{"db":0,"type":"string","expireat":0,"key":"zj","key64":"emo=","value64":"Mw=="}
{"db":0,"type":"string","expireat":0,"key":"b","key64":"Yg==","value64":"Mg=="}
./redis-shake -type=restore  -conf=redis-shake.conf #恢复
#全量/增量
127.0.0.1:6389> keys *
(empty list or set)
[root@xsj redis-shake]# ./redis-shake -type=rump  -conf=redis-shake.conf
127.0.0.1:6389> keys *
1) "zj"
2) "sj"
3) "b"
4) "name"
5) "a"
127.0.0.1:6389> flushdb
127.0.0.1:6389> keys *
(empty list or set)
[root@xsj redis-shake]# ./redis-shake -type=sync  -conf=redis-shake.conf
127.0.0.1:6389> keys *
1) "zj"
2) "sj"
3) "b"
4) "name"
5) "a"
#源端新增数据
127.0.0.1:6379> set test asd
OK
127.0.0.1:6389> get test
"asd"
2019/08/08 21:53:11 [INFO] dbSyncer[0] sync rdb done
2019/08/08 21:53:11 [INFO] input password is empty, skip auth address[127.0.0.1:6389] with type[auth].
2019/08/08 21:53:11 [WARN] dbSyncer[0] GetFakeSlaveOffset not enable when psync == false
2019/08/08 21:53:11 [INFO] dbSyncer[0] Event:IncrSyncStart      Id:redis-shake
2019/08/08 21:53:12 [INFO] dbSyncer[0] sync:  +forwardCommands=0      +filterCommands=0      +writeBytes=0
#由日志可以看到，sync会先完成全量，再进行增量。

  可以通过curl 127.0.0.1:9320/metric进行实时监控。
_

  由上文验证可以得知，redis-shake支持全量+增量的数据迁移，并且支持对RDB文件的备份以及解析。

二、Redis数据校验

2.1 redis-full-check

  redis-full-check是阿里云Redis&MongoDB团队开源的用于校验2个redis数据是否一致的工具。
  redis-full-check通过全量对比源端和目的端的redis中的数据的方式来进行数据校验，其比较方式通过多轮次比较：每次都会抓取源和目的端的数据进行差异化比较，记录不一致的数据进入下轮对比（记录在sqlite3 db中）。然后通过多轮比较不断收敛，减少因数据增量同步导致的源库和目的库的数据不一致。最后sqlite中存在的数据就是最终的差异结果。
_
  redis-full-check对比的方向是单向：抓取源库A的数据，然后检测是否位于B中，反向不会检测，也就是说，它检测的是源库是否是目的库的子集。如果希望对比双向，则需要对比2次，第一次以A为源库，B为目的库，第二次以B为源库，A为目的库。

127.0.0.1:6379> keys *
1) "name"
2) "zj"
3) "sj"
127.0.0.1:6379> get name
"zj"
127.0.0.1:6379> get zj
"3"
127.0.0.1:6379> get sj
"2"
[root@xsj bin]# ./redis-cli  -p 6389
127.0.0.1:6389> get name
"zj"
127.0.0.1:6389> get zj
"3"
127.0.0.1:6389> get sj
"2"
127.0.0.1:6389> keys *
1) "sj"
2) "name"
3) "zj"
[root@xsj redis-full-check]# ./redis-full-check --source 127.0.0.1:6379 --target 127.0.0.1:6389
INFO 2019-08-08-15:35:06](main.go:54): init log success
INFO 2019-08-08-15:35:06](full_check.go:238): sourceDbType=0, p.sourcePhysicalDBList=[meaningless]
INFO 2019-08-08-15:35:06](full_check.go:243): db=0:keys=3
INFO 2019-08-08-15:35:06](full_check.go:253): ---------------- start 1th time compare
INFO 2019-08-08-15:35:06](full_check.go:278): start compare db 0
INFO 2019-08-08-15:35:07](full_check.go:203): stat:
times:1, db:0, dbkeys:3, finish:33%, finished:true
KeyScan:{3 3 0}

INFO 2019-08-08-15:35:07](full_check.go:250): wait 5 seconds before start
INFO 2019-08-08-15:35:12](full_check.go:253): ---------------- start 2th time compare
INFO 2019-08-08-15:35:12](full_check.go:278): start compare db 0
INFO 2019-08-08-15:35:12](full_check.go:203): stat:
times:2, db:0, finished:true
KeyScan:{0 0 0}

INFO 2019-08-08-15:35:12](full_check.go:250): wait 5 seconds before start
INFO 2019-08-08-15:35:17](full_check.go:253): ---------------- start 3th time compare
INFO 2019-08-08-15:35:17](full_check.go:278): start compare db 0
INFO 2019-08-08-15:35:17](full_check.go:203): stat:
times:3, db:0, finished:true
KeyScan:{0 0 0}

INFO 2019-08-08-15:35:17](full_check.go:323): --------------- finished! ----------------
all finish successfully, totally 0 key(s) and 0 field(s) conflict
[root@xsj redis-full-check]# ll
total 12096
-rw-r--r-- 1 1320024 users     1843 Jul 23 20:12 ChangeLog
-rwxr-xr-x 1 1320024 users 12318467 Jul 23 20:12 redis-full-check
-rw-r--r-- 1 root    root     20480 Aug  8 15:35 result.db.1
-rw-r--r-- 1 root    root     20480 Aug  8 15:35 result.db.2
-rw-r--r-- 1 root    root     20480 Aug  8 15:35 result.db.3
[root@xsj redis-full-check]# sqlite3 result.db.3
SQLite version 3.7.17 2013-05-20 00:56:22
Enter ".help" for instructions
Enter SQL statements terminated with a ";"
sqlite> select * from key;
127.0.0.1:6389> set name diff
OK
[root@xsj redis-full-check]# ./redis-full-check --source 127.0.0.1:6379 --target 127.0.0.1:6389
INFO 2019-08-08-15:36:19](main.go:54): init log success
INFO 2019-08-08-15:36:19](full_check.go:238): sourceDbType=0, p.sourcePhysicalDBList=[meaningless]
INFO 2019-08-08-15:36:19](full_check.go:243): db=0:keys=3
INFO 2019-08-08-15:36:19](full_check.go:253): ---------------- start 1th time compare
INFO 2019-08-08-15:36:19](full_check.go:278): start compare db 0
INFO 2019-08-08-15:36:20](full_check.go:203): stat:
times:1, db:0, dbkeys:3, finish:33%, finished:true
KeyScan:{3 3 0}
KeyConflictInProcess|string|value|{1 1 0}

INFO 2019-08-08-15:36:20](full_check.go:250): wait 5 seconds before start
INFO 2019-08-08-15:36:25](full_check.go:253): ---------------- start 2th time compare
INFO 2019-08-08-15:36:25](full_check.go:278): start compare db 0
INFO 2019-08-08-15:36:26](full_check.go:203): stat:
times:2, db:0, finished:true
KeyScan:{1 1 0}
KeyConflictInProcess|string|value|{1 1 0}

INFO 2019-08-08-15:36:26](full_check.go:250): wait 5 seconds before start
INFO 2019-08-08-15:36:31](full_check.go:253): ---------------- start 3th time compare
INFO 2019-08-08-15:36:31](full_check.go:278): start compare db 0
INFO 2019-08-08-15:36:32](full_check.go:203): stat:
times:3, db:0, finished:true
KeyScan:{1 1 0}
KeyConflictAtLast|string|value|{1 1 0}

INFO 2019-08-08-15:36:32](full_check.go:323): --------------- finished! ----------------
all finish successfully, totally 3 key(s) and 0 field(s) conflict
[root@xsj redis-full-check]# sqlite3 result.db.3 
SQLite version 3.7.17 2013-05-20 00:56:22
Enter ".help" for instructions
Enter SQL statements terminated with a ";"
sqlite> select * from key;
1|name|string|value|0|2|4

  由上文验证可知，redis-full-check可以对比出源端与目标端的差异key。

参考链接：
https://yq.aliyun.com/articles/691794
https://yq.aliyun.com/articles/690463?spm=a2c4e.11155435.0.0.1cbe7bc170JysP

文章标签：
云数据库 Redis 版
云解析DNS
NoSQL
Redis
数据库管理
关键词：
云数据库 Redis 版数据迁移
云数据库 Redis 版校验
相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务，基于高可靠双机热备架构及可无缝扩展的集群架构，满足高读写性能场景及容量需弹性变配的业务需求。 产品详情：https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验：数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引，您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接，领取免费ECS&RDS资源，30分钟完成数据库上云实战！https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
梓杰
目录
相关文章
vohelon
|
3月前
|
NoSQL Redis 数据库
数据传输DTS中金融云跨账号同步Redis，增量校验报错了
【1月更文挑战第16天】【1月更文挑战第80篇】数据传输DTS中金融云跨账号同步Redis，增量校验报错了
vohelon
64 1
Sunny_yiyi
|
21天前
|
NoSQL Redis Docker
Docker中Redis数据迁移到本地
Docker中Redis数据迁移到本地
Sunny_yiyi
18 1
图灵重生我名苏泽
|
1月前
|
NoSQL Redis
Redis企业项目实战--登录校验拦截器
Redis企业项目实战--登录校验拦截器
图灵重生我名苏泽
15 2
浩泽学编程
|
1月前
|
存储 NoSQL 前端开发
【SpringBoot】Redis集中管理Session和自定义用户参数解决登录状态及校验问题
【SpringBoot】Redis集中管理Session和自定义用户参数解决登录状态及校验问题
浩泽学编程
45 0
张思睿ZGQ
|
1月前
|
缓存 NoSQL 安全
【Redis】2、Redis应用之【根据 Session 和 Redis 进行登录校验和发送短信验证码】
【Redis】2、Redis应用之【根据 Session 和 Redis 进行登录校验和发送短信验证码】
张思睿ZGQ
48 0
NineData
|
7月前
|
NoSQL 安全 容灾
1分钟实现Redis数据迁移任务
NineData 基于全量复制、增量日志复制技术，提供了高效、安全可靠的 Redis 不停机迁移方案。当然，除了 Redis，NineData 已经支持数十种常见数据库的迁移复制，实现数据库迁移、数据容灾、数据双活、数据仓库实时集成等业务场景。同时，除了 SAAS 模式外，还提供了企业专属集群模式，满足企业最高的数据安全合规要求。
NineData
157 0
java知路
|
7月前
|
NoSQL Redis
Redis数据迁移的4种方法
Redis数据迁移的4种方法
java知路
902 0
JAVA开发大本营
|
8月前
|
NoSQL 安全 Java
springboot与redis携手完成接口幂等性校验（二）
springboot与redis携手完成接口幂等性校验
JAVA开发大本营
95 0
JAVA开发大本营
|
8月前
|
NoSQL Java 测试技术
springboot与redis携手完成接口幂等性校验（一）
springboot与redis携手完成接口幂等性校验
JAVA开发大本营
111 0
是谢添啊
|
9月前
|
机器学习/深度学习 缓存 NoSQL
前后端分离java开发图形验证码+谷歌开源Kaptcha使用(Springboot+redis实现图形验证码校验)
前后端分离java开发图形验证码+谷歌开源Kaptcha使用(Springboot+redis实现图形验证码校验)
是谢添啊
567 0

热门文章

最新文章

  • 1
    微软开抢年收入上亿美元的 Redis 饭碗？开源性能遥遥领先的 Garnet：无需修改，Redis 客户端可直接接入
  • 2
    Docker安装详细步骤及相关环境安装配置（mysql、jdk、redis、自己的私有仓库Gitlab 、C和C++环境以及Nginx服务代理）
  • 3
    springboot中集成redis，二次封装成工具类
  • 4
    SpringBoot集成Redis
  • 5
    Redis与Python的完美结合：实现高效数据交互和应用场景全解析
  • 6
    【Redis性能瓶颈揭秘】「调优系列」深入分析热Key的排查策略和解决方案
  • 7
    使用innoSetup将mysql+nginx+redis+jar包打包成windows安装包
  • 8
    在Docker中设置Redis的密码
  • 9
    深入解析Redis：一种快速、高效的键值存储系统
  • 10
    【Redis深度专题】「踩坑技术提升」一文教会你如何在支持Redis在低版本Jedis情况下兼容Redis的ACL机制
  • 1
    使用Redis进行Java缓存策略设计
    21
  • 2
    Redis stream 用做消息队列完美吗
    30
  • 3
    开发者福音：用IDEA和Iedis2加速Redis开发与调试
    16
  • 4
    Java开发-深入理解Redis Cluster的工作原理
    15
  • 5
    13- Redis和Mysql如何保证数据⼀致?
    31
  • 6
    08- 什么是 Redis 主从同步？
    18
  • 7
    06- 你们使用Redis是单点还是集群 ? 哪种集群 ?
    16
  • 8
    05- Redis的数据淘汰策略有哪些 ?
    9
  • 9
    Redis的常用数据结构之字符串类型
    15
  • 10
    Redis的全局命令及相关误区
    19

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • Redis入门实战演练
  • 云数据库 Redis 版使用教程
  • Redis数据库入门

    • 相关电子书

    更多
  • Redis集群演化的心路历程——从2.x到3.0时代
  • 微博的Redis定制之路
  • 云数据库Redis版的开源之路

    • 相关实验场景

    更多
  • 如何通过数据库Redis内网访问
  • Tair for Redis数据闪回：任意时间点数据恢复
  • 使用DAS实现数据库自动扩容和回缩
  • 如何开通Redis的专属集群
  • 基于Redis实现在线游戏积分排行榜
    • 下一篇
    阿里云oss简介和使用流程
    为什么选择阿里云什么是云计算全球基础设施技术领先稳定可靠安全合规分析师报告
    产品和定价全部产品免费试用产品动态产品定价价格计算器云上成本管理
    解决方案技术解决方案
    文档与社区文档开发者社区天池大赛培训与认证
    权益中心免费试用高校计划企业扶持计划推荐返现计划
    支持与服务基础服务企业增值服务迁云服务官网公告健康看板信任中心
    关注阿里云
    关注阿里云公众号或下载阿里云APP，关注云资讯，随时随地运维管控云服务
    阿里云APP阿里云微信
    联系我们：4008013260
    法律声明Cookies政策廉正举报安全举报联系我们加入我们
    阿里巴巴集团淘宝网天猫全球速卖通阿里巴巴国际交易市场1688阿里妈妈飞猪阿里云计算AliOS万网高德UC友盟优酷钉钉支付宝达摩院淘宝海外阿里云盘饿了么
    © 2009-2024 Aliyun.com 版权所有 增值电信业务经营许可证： 浙B2-20080101 域名注册服务机构许可： 浙D3-20210002 京D3-20220015
    浙公网安备 33010602009975号浙B2-20080101-4