DTS任务卡住问题(续集)

本文涉及的产品
云原生数据库 PolarDB 分布式版,标准版 2核8GB
简介:
  • 接力上节

上篇文章参考:https://yq.aliyun.com/articles/749360?spm=a2c4e.11155435.0.0.1df03312nyZXw1

  • 治疗方案无效

根据上述连接解决方案,确实是可以解决常规的一些卡住问题,并且在当时调整以后确实任务也可以完整跑完成功;
但是再一次进行完整迁移测试还是出现了卡住的情况发生,查看数据迁移情况发现还是相同的表在相同的位置;
image
但是经过排查max_allowed_packet参数还是2G的大小设置,虽然dts后端可以通过调整batch来绕过这个问题,但是还是需要确认是什么大记录数据导致的该问题;
经过抓包发现,有一条大记录在通过dts同步到drds上的时候,drds解析失败报错;
image
怀疑是这条sql的记录被截断导致parse failed入库失败,导致dts任务卡住;
经过和客户应用同学沟通,客户反馈有这样的一条数据记录异常过大;
image
而通过dts同步到目标drds的最大只有4411305
image

  • 拔毒疗伤

客户反馈这条数据是有问题的,可以删除掉,故而删除以后重启dts任务正常迁移完成,问题解决;
image
究其原因,客户反馈是大促活动会有很多1-2元的促销券,每次都会有10000多张,所以对应的字段就会很大;所以对于目前现有的主表增量,还是无法控制出现大的报文存在;
image

  • 经验总结

对于如上出现的存在大字段text,blob的log表,在创建dts任务的时候,如果出现卡住的情况发生,可以通过调整max_allowed_packet参数,调整batch降低单次提交写入数据并重启任务,减少写入数据大小解决由于记录内容过大导致在drds层出现parse failed,导致数据写入失败的情况发生;还有就是如果存在有异常的大字段可以考虑规避,比如删除或者备份等;

相关实践学习
Polardb-x 弹性伸缩实验
本实验主要介绍如何对PolarDB-X进行手动收缩扩容,了解PolarDB-X 中各个节点的含义,以及如何对不同配置的PolarDB-x 进行压测。
目录
相关文章
|
1月前
|
缓存 关系型数据库 数据库
如果数据传输服务DTS(Data Transmission Service)的数据订阅任务突然失败了
【2月更文挑战第29天】如果数据传输服务DTS(Data Transmission Service)的数据订阅任务突然失败了
15 3
|
4月前
|
缓存
如果数据传输服务DTS(Data Transmission Service)的数据订阅任务突然失败
如果数据传输服务DTS(Data Transmission Service)的数据订阅任务突然失败
31 1
|
关系型数据库 MySQL
DTS任务为什么一直处于"修改同步对象中"
DTS任务为什么一直处于"修改同步对象中"
|
关系型数据库 分布式数据库 RDS
|
数据库
DTS开发记录(9)-- 数据迁移任务 DataTask
在DTS开发记录(1)--系统总体结构 一文中,我们已经看到,一次数据传递任务基于一个连接对和一个数据映射进行。但是之前,我们并没有提到“数据迁移任务”这个元素。随着设计的演化,我们发现一个数据任务已经不再仅仅是一个连接对加上一个数据映射了。
1008 0
|
1月前
|
SQL 分布式计算 监控
在数据传输服务(DTS)中,要查看每个小时源端产生了多少条数据
【2月更文挑战第32天】在数据传输服务(DTS)中,要查看每个小时源端产生了多少条数据
17 6
|
1月前
|
关系型数据库 MySQL 数据挖掘
阿里云 SelectDB 携手 DTS ,一键实现 TP 数据实时入仓
DTS 作为阿里云核心的数据交互引擎,以其高效的实时数据流处理能力和广泛的数据源兼容性,为用户构建了一个安全可靠、可扩展、高可用的数据架构桥梁。阿里云数据库 SelectDB 通过与 DTS 联合,为用户提供了简单、实时、极速且低成本的事务数据分析方案。用户可以通过 DTS 数据传输服务,一键将自建 MySQL / RDS MySQL / PolarDB for MySQL 数据库,迁移或同步至阿里云数据库 SelectDB 的实例中,帮助企业在短时间内完成数据迁移或同步,并即时获得深度洞察。
阿里云 SelectDB 携手 DTS ,一键实现 TP 数据实时入仓
|
3月前
DTS数据传输延迟可能有多种原因
【1月更文挑战第16天】【1月更文挑战第79篇】DTS数据传输延迟可能有多种原因
54 2
|
1月前
|
关系型数据库 MySQL OLAP
数据传输DTS写入问题之无法获取数据如何解决
数据传输服务(DTS)是一项专注于数据迁移和同步的云服务,在使用过程中可能遇到多种问题,本合集精选常见的DTS数据传输问题及其答疑解惑,以助用户顺利实现数据流转。
|
1月前
|
存储 Java 关系型数据库
数据传输DTS数据问题之数据写入异常如何解决
数据传输服务(DTS)是一项专注于数据迁移和同步的云服务,在使用过程中可能遇到多种问题,本合集精选常见的DTS数据传输问题及其答疑解惑,以助用户顺利实现数据流转。
数据传输DTS数据问题之数据写入异常如何解决