备案控制台
探索云世界
开发者社区 数据库 文章 正文

自建Percona5.7.23同步阿里云RDS(MySQL5.6)TokuDB数据库

2018-11-12 2520
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云数据库 RDS MySQL Serverless，0.5-2RCU 50GB
推荐场景：
学生管理系统数据库设计 搭建个人博客
简介： 阿里云RDS支持TokuDB引擎，具有高压缩，高写入性能，读性能和InnoDB差不多。本文详解Percona MySQL5.7.23（包含TokuDB引擎）二进制的搭建，以及使用RDS备份文件恢复数据和搭建GTID同步到自建Percona MySQL5.7.23的过程。

1. 安装二进制 Percona Server for MySQL 5.7.23

1. 1 下载二进制 Percona Server for MySQL 5.7.23

命令: 


wget -c https://www.percona.com/downloads/Percona-Server-LATEST/Percona-Server-5.7.23-23/binary/tarball/Percona-Server-5.7.23-23-Linux.x86_64.ssl102.tar.g

2.2 安装依赖

2.2.1. 更新系统 和安装依赖


yum -y update
yum install libatomic.x86_64 atomic.x86_64

2.2.2 更新GCC

Percona Server for MySQL 5.7.23需要GLIBCXX 3.4.21, 如果用户的GLIBCXX低于该本，启动MySQL时，无法成功，并且不输出任何错误信息1) 检查GLIBCXX版本


strings /usr/lib64/libstdc++.so.6 | grep GLIBCXX
GLIBCXX_3.4
GLIBCXX_3.4.1
GLIBCXX_3.4.2
GLIBCXX_3.4.3
GLIBCXX_3.4.4
GLIBCXX_3.4.5
GLIBCXX_3.4.6
GLIBCXX_3.4.7
GLIBCXX_3.4.8
GLIBCXX_3.4.9
GLIBCXX_3.4.10
GLIBCXX_3.4.11
GLIBCXX_3.4.12
GLIBCXX_3.4.13
GLIBCXX_3.4.14
GLIBCXX_3.4.15
GLIBCXX_3.4.16
GLIBCXX_3.4.17
GLIBCXX_3.4.18
GLIBCXX_3.4.19
GLIBCXX_DEBUG_MESSAGE_LENGTH


2) 如果检索出来GLIBCXX版本低于3.4.21，则添加更新源

vim /etc/yum.repos.d/FedoraRepo.repo
[warning:fedora]
name=fedora
mirrorlist=http://mirrors.fedoraproject.org/mirrorlist?repo=fedora-23&arch=$basearch
enabled=1
gpgcheck=1
gpgkey=https://getfedora.org/static/34EC9CBA.txt

3) 更新GCC

yum install cmake gcc gcc-c++ libaio libaio-devel automake autoconf bison libtool ncurses-devel libgcrypt-devel libev-devel libcurl-devel vim-common

4) 检查GLIBCXX版本


$ strings /usr/lib64/libstdc++.so.6 | grep LIBCXX
GLIBCXX_3.4
GLIBCXX_3.4.1
GLIBCXX_3.4.2
GLIBCXX_3.4.3
GLIBCXX_3.4.4
GLIBCXX_3.4.5
GLIBCXX_3.4.6
GLIBCXX_3.4.7
GLIBCXX_3.4.8
GLIBCXX_3.4.9
GLIBCXX_3.4.10
GLIBCXX_3.4.11
GLIBCXX_3.4.12
GLIBCXX_3.4.13
GLIBCXX_3.4.14
GLIBCXX_3.4.15
GLIBCXX_3.4.16
GLIBCXX_3.4.17
GLIBCXX_3.4.18
GLIBCXX_3.4.19
GLIBCXX_3.4.20
GLIBCXX_3.4.21
GLIBCXX_DEBUG_MESSAGE_LENGTH


5) 删除刚才添加的源刚才添加的源和系统自带的源有一些冲突，所以更新完gcc，g++后需要删除


rm /etc/yum.repos.d/FedoraRepo.repo

2.2.3 编译安装openssl

wget https://www.openssl.org/source/openssl-1.1.1.tar.gz
tar zcvf openssl-1.1.1.tar.gz
cd openssl-1.1.1
./config
make
make install
ln -s /usr/local/lib64/libssl.so.1.1 /usr/lib64/libssl.so.1.1
ln -s  /usr/local/lib64/libcrypto.so.1.1  /usr/lib64/libcrypto.so.1.1

2.3 安装二进制Percona Server MySQL 5.7

2.3.1 添加用户组

groupadd mysql
useradd -g mysql -d /usr/local/mysql -s /sbin/nologin -M mysql

2.3.2 解压安装包

tar zxvf Percona-Server-5.7.23-23-Linux.x86_64.ssl102.tar.gz
mv Percona-Server-5.7.23-23-Linux.x86_64.ssl102 /opt

2.3.3 添加MySQL到系统

1) 创建符号链接


ln -s /opt/Percona-Server-5.7.23-23-Linux.x86_64.ssl102 /usr/local/mysql

2) 修改系统环境变量

vim /etc/profile

在文件末尾添加export PATH="/usr/local/mysql/bin/:$PATH" 

3) 使环境变量生效

source /etc/profile

2.3.4 初始化 

cd /usr/local/mysql
./bin/mysqld --defaults-file=/etc/my.cnf --initialize

2.3.4 添加启动脚本

cp /opt/Percona-Server-5.7.23-23-Linux.x86_64.ssl102/support-files/mysql.server /etc/init.d/mysqld

修改文件/etc/init.d/mysqld把文件中的Percona-Server-5.7.23-23-Linux.x86_64.ssl102都替换成mysql

2.3.5. 启动mysql 

 /etc/init.d/mysqld restart

2.3.6. 设置root密码

1) 获取初始密码

grep "temporary password" /data/mysql/mysql3306/data/error.log

mysql_temp_pwd.png

2) 修改root密码

cd /usr/local/mysql
./bin/mysql_secure_installation

msyql_secure_install.png

2.4、 配置TokuDB引擎及参数

2.4.1 禁掉操作系统大页的支持

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

如果不修改，使用tokudb引擎的时候，会在error.log中报错

Transparent huge pages are enabled, according to /sys/kernel/mm/redhat_transparent_hugepage/enabled
Transparent huge pages are enabled, according to /sys/kernel/mm/transparent_hugepage/enabled

2.4.2 安装TokuDB引擎

ps_tokudb_admin --enable -uroot -p

2.4.3 添加malloc库为jemalloc

1) 拷贝MySQL版本对应的jemalloc

cp /usr/local/mysql/lib/mysql/libjemalloc.so* /usr/lib64/

2) 在/etc/my.cnf中添加malloc库使用jemalloc

[mysqld_safe]
thp-setting=never
malloc-lib=/usr/lib64/libjemalloc.so

3) 配置tokudb参数

plugin-dir = /usr/local/mysql/lib/mysql/plugin
plugin-load=ha_tokudb.so
tokudb_row_format = tokudb_zlib
tokudb_cache_size = 1G
tokudb_commit_sync = 1
tokudb_directio = 1
tokudb_read_block_size = 128K
tokudb_read_buf_size = 128K
tokudb_support_xa = 1
tokudb_directio = 0
#tokudb_pk_insert_mode = ON
tokudb_hide_default_row_format = ON
tokudb_lock_timeout_debug = 1

2.4.4 重启MySQL 

/etc/init.d/mysqld restart

2. 下载阿里云RDS全量备份文件

2.1 登陆阿里云RDS控制台获取备份文件下载地址

rds-per-down-data.pngrds-inner-net-address.png

2.2 下载备份文件

登陆云服务器，使用wget下载数据备份文件，命令格式如下:


wget -c '<数据备份文件内网下载地址>' -O (大写的O) <自定义文件名>.tar.gz

参数说明:

  • -c: 启用断点续传 模式
  • -O: 将下载的结果保持为指定文件(使用URL中包含的文件名后缀.tar.gz或者.xb.gz)

2.3 停止MySQL


/etc/init.d/mysqld stop

2.4 删除MySQL data目录下所有文件 

如: rm -r /data/mysql/var/3306/

2.5 解压RDS备份文件到MySQL data目录

  • RDS备份文件格式为.tar.gz
tar -izxvf <数据备份文件名>.tar.gz  -C /data/mysql/var/3306/
  • RDS备份文件格式为.xb.gz
gzip -d -c <数据备份文件名>.xb.gz | xbstream -x -v -C /data/mysql/var/3306/

3. 安装tokudb-xtrabackup

3.1下载tokudb-xtrabackup


 git clone https://github.com/xelabs/tokudb-xtrabackup.git

3.2 编译安装tokudb-xtrabackup

1) 安装依赖

yum install cmake gcc gcc-c++ libaio libaio-devel automake autoconf bison libtool ncurses-devel libgcrypt-devel libev-devel libcurl-devel vim-common

2) 编译安装tokudb-xtrabackup

cmake .\
  -DBUILD_CONFIG=xtrabackup_release\
  -DWITH_BOOST=extra/boost/boost_1_59_0.tar.gz\
  -DWITH_MAN_PAGES=OFF\
  -DCMAKE_INSTALL_PREFIX=/usr/local/xtrabackup_xelabs/

make
make install

4. 备份恢复

4.1 数据文件恢复 

 /usr/local/xtrabackup_xelabs/bin/innobackupex --defaults-file=/data/mysql/var/3306/backup-my.cnf --apply-log /data/mysql/var/3306/

4.2 启动MySQL 

/etc/init.d/mysqld start

4.3 登陆MySQL 

mysql -uroot -h127.0.0.1 -p

如果登陆失败，需按照如下步骤进行:1) 在MySQL配置文件中添加skip-grant-tables,然后重启MySQL2) 使用mysql -uroot -p -h127.0.0.13) 修改root密码: update mysql.user set authentication_string=password('密码') where user='root' and Host = '127.0.0.1';4) 删除RDS多余的表: drop table rds_extra;5) 更新权限: flush privileges;

4.4 更新数据库

由于备份文件是RDS MySQL5.6，而自建数据库是MySQL5.7，所以需要使用更新命令更新一下数据库表，命令如下

mysql_upgrade -u root  -h 127.0.0.1 -p   --force

4.5 重启数据库 

/etc/init.d/mysqld start

5. 创建gtid同步

5.1 删除数据库trigger

1) 查看triggers

use 数据库；
show triggers;

2) 删除trigger

drop trigger trigger_名字

5.2 获取gtid值 

cat /data/mysql/var/3306/xtrabackup_info # 获取GTID of the last change值

5.3 配置同步

1) 重置复制

stop slave;
reset slave all;
reset master;

2) 设置复制

set global gtid_purged='gtid值';

CHANGE MASTER TO
  MASTER_HOST='xxxxx.mysql.rds.aliyuncs.com',
  MASTER_USER='dt_repl',
  MASTER_PASSWORD='xxxxx',
  MASTER_PORT=3306,
  MASTER_AUTO_POSITION=1,
  MASTER_CONNECT_RETRY=10;

3) 启动复制

start slave;

4) 查看复制状态

show slave status\G;
文章标签：
云数据库 RDS MySQL 版
关系型数据库
MySQL
Linux
数据库
RDS
关键词：
云数据库 RDS MySQL 版同步
mysql数据库
云数据库 RDS MySQL 版mysql
阿里云mysql
阿里云数据库
相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境，其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心，利用清洁计算为万物互联的新世界提供源源不断的能源动力，目前开服的区域包括中国（华北、华东、华南、香港）、新加坡、美国（美东、美西）、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程，来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品：云服务器ECS 云服务器 ECS（Elastic Compute Service）是一种弹性可伸缩的计算服务，助您降低 IT 成本，提升运维效率，使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
沈欧邦
目录
相关文章
技术蜜糖罐
|
15天前
|
SQL 数据可视化 关系型数据库
轻松入门MySQL：深入探究MySQL的ER模型，数据库设计的利器与挑战（22）
轻松入门MySQL：深入探究MySQL的ER模型，数据库设计的利器与挑战（22）
技术蜜糖罐
99 0
技术蜜糖罐
|
15天前
|
存储 关系型数据库 MySQL
轻松入门MySQL：数据库设计之范式规范，优化企业管理系统效率（21）
轻松入门MySQL：数据库设计之范式规范，优化企业管理系统效率（21）
技术蜜糖罐
42 0
技术蜜糖罐
|
15天前
|
关系型数据库 MySQL 数据库
轻松入门MySQL：精准查询，巧用WHERE与HAVING，数据库查询如虎添翼（7）
轻松入门MySQL：精准查询，巧用WHERE与HAVING，数据库查询如虎添翼（7）
技术蜜糖罐
27 0
技术蜜糖罐
|
15天前
|
SQL 关系型数据库 MySQL
轻松入门MySQL：深入学习数据库表管理，创建、修改、约束、建议与性能优化（3）
轻松入门MySQL：深入学习数据库表管理，创建、修改、约束、建议与性能优化（3）
技术蜜糖罐
35 0
认真学习的小雅兰.
|
2天前
|
SQL NoSQL 关系型数据库
初识MySQL数据库——“MySQL数据库”
初识MySQL数据库——“MySQL数据库”
认真学习的小雅兰.
5 0
find_starshine
|
4天前
|
关系型数据库 MySQL 数据库
数据库基础（mysql）
数据库基础（mysql）
find_starshine
9 0
LightOf
|
4天前
|
SQL 关系型数据库 数据库
【后端面经】【数据库与MySQL】SQL优化：如何发现SQL中的问题？
【4月更文挑战第12天】数据库优化涉及硬件升级、操作系统调整、服务器/引擎优化和SQL优化。SQL优化目标是减少磁盘IO和内存/CPU消耗。`EXPLAIN`命令用于检查SQL执行计划，关注`type`、`possible_keys`、`key`、`rows`和`filtered`字段。设计索引时考虑外键、频繁出现在`where`、`order by`和关联查询中的列，以及区分度高的列。大数据表改结构需谨慎，可能需要停机、低峰期变更或新建表。面试中应准备SQL优化案例，如覆盖索引、优化`order by`、`count`和索引提示。优化分页查询时避免大偏移量，可利用上一批的最大ID进行限制。
LightOf
32 3
LightOf
|
5天前
|
存储 关系型数据库 MySQL
【后端面经】【数据库与MySQL】为什么MySQL用B+树而不用B树？-02
【4月更文挑战第11天】数据库索引使用规则：`AND`用`OR`不用，正用反不用，范围中断。索引带来空间和内存代价，包括额外磁盘空间、内存占用和数据修改时的维护成本。面试中可能涉及B+树、聚簇索引、覆盖索引等知识点。MySQL采用B+树，因其利于范围查询和内存效率。数据库不使用索引可能因`!=`、`LIKE`、字段区分度低、特殊表达式或全表扫描更快。索引与NULL值处理在不同数据库中有差异，MySQL允许NULL在索引中的使用。
LightOf
10 3
叫我兔兔酱
|
6天前
|
关系型数据库 MySQL 数据库连接
Django（四）：Django项目部署数据库及服务器配置详解（MySQL）
Django（四）：Django项目部署数据库及服务器配置详解（MySQL）
叫我兔兔酱
29 11
coder一枚
|
16天前
|
弹性计算 关系型数据库 MySQL
阿里云数据库服务器价格表，数据库创建、连接和使用教程
阿里云数据库使用流程包括购买和管理。选择所需数据库类型如MySQL，完成实名认证后购买，配置CPU、内存和存储。确保数据库地域与ECS相同以允许内网连接。创建数据库和账号，设置权限。通过DMS登录数据库，使用账号密码连接。同一VPC内的ECS需添加至白名单以进行内网通信。参考官方文档进行详细操作。
coder一枚
76 3

热门文章

最新文章

  • 1
    详解MySQL字符集和Collation
  • 2
    Docker安装详细步骤及相关环境安装配置（mysql、jdk、redis、自己的私有仓库Gitlab 、C和C++环境以及Nginx服务代理）
  • 3
    MySQL学习（三）
  • 4
    对线面试官 - 如何理解MySQL的索引覆盖和索引下推
  • 5
    MySQL学习（五）
  • 6
    MySQL 面试题及答案整理，最新面试题
  • 7
    django4版本提示 django.db.utils.NotSupportedError: MySQL 8 or later is required (found 5.7.26)
  • 8
    MySQL学习（七）
  • 9
    mysql性能优化-慢查询分析、优化索引和配置
  • 10
    【分布式技术专题】「分布式技术架构」MySQL数据同步到Elasticsearch之N种方案解析，实现高效数据同步
  • 1
    TiDB的优势：为何选择TiDB作为您的数据库解决方案
    74
  • 2
    [Redis]——数据一致性，先操作数据库，还是先更新缓存？
    31
  • 3
    阿里云数据库使用方法，从购买、创建数据库账号密码到连接数据库全流程
    334
  • 4
    【mysql】—— 数据库的操作
    49
  • 5
    悦数图数据库推出 AI 知识图谱构建器及图语言生成助手
    37
  • 6
    Windows公网远程连接MongoDB数据库【无公网IP】
    45
  • 7
    嵌入式数据库sqlite3【基础篇】基本命令操作，小白一看就懂（C/C++）
    420
  • 8
    Java代码高效连接数据库
    18
  • 9
    如何处理爬取到的数据，例如存储到数据库或文件中？
    32
  • 10
    Python中使用pymysql和pymssql进行数据库操作的完整指南
    157

    • 相关课程

    更多
  • 数据库的前世今生
  • 数据库核心概念
  • 从传统数据库到云数据库演进
  • 数据库常见问题排查
  • 数据库及SQL/MySQL基础
  • 高校精品课-西安交通大学 -数据库理论与技术

    • 相关电子书

    更多
  • 2022 DTCC-阿里云一站式数据库上云最佳实践
  • 云时代的数据库技术趋势
  • 超大型金融机构国产数据库全面迁移成功实践

    • 相关实验场景

    更多
  • 使用阿里云ECS监控您的特斯拉
  • 使用阿里云ECS安装家用内网穿透服务
  • 在阿里云百炼大模型中快速创建企业知识应用
  • 使用阿里云ECS搭建一套网页IDE
  • 使用阿里云ECS搭建自己的持续集成服务
  • 阿里云百炼xAnalyticDB PostgreSQL构建AIGC应用

    • 推荐镜像

    更多
  • mysql
  • postgresql
  • clickhouse
    • 下一篇
    阿里云oss简介和使用流程
    为什么选择阿里云什么是云计算全球基础设施技术领先稳定可靠安全合规分析师报告
    产品和定价全部产品免费试用产品动态产品定价价格计算器云上成本管理
    解决方案技术解决方案
    文档与社区文档开发者社区天池大赛培训与认证
    权益中心免费试用高校计划企业扶持计划推荐返现计划
    支持与服务基础服务企业增值服务迁云服务官网公告健康看板信任中心
    关注阿里云
    关注阿里云公众号或下载阿里云APP，关注云资讯，随时随地运维管控云服务
    阿里云APP阿里云微信
    联系我们：4008013260
    法律声明Cookies政策廉正举报安全举报联系我们加入我们
    阿里巴巴集团淘宝网天猫全球速卖通阿里巴巴国际交易市场1688阿里妈妈飞猪阿里云计算AliOS万网高德UC友盟优酷钉钉支付宝达摩院淘宝海外阿里云盘饿了么
    © 2009-2024 Aliyun.com 版权所有 增值电信业务经营许可证： 浙B2-20080101 域名注册服务机构许可： 浙D3-20210002 京D3-20220015
    浙公网安备 33010602009975号浙B2-20080101-4