本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
本文介绍如何使用数据传输服务（Data Transmission Service，简称DTS），实现RDS实例间的数据迁移。DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在自建应用不停服的情况下，平滑地完成数据库的迁移。...
本文介绍如何使用数据传输服务（Data Transmission Service，简称DTS），实现RDS实例间的数据迁移。DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在自建应用不停服的情况下，平滑地完成数据库的迁移。...
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
数据追踪 由于误操作等原因导致数据不符合预期时，可以通过数据追踪将数据快速恢复到正常状态。测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障数据离散型、提高生产效率。数据库克隆 数据库克隆功能提供MySQL数据...
本文介绍如何使用数据传输服务DTS（Data Transmission Service），结合Kafka集群与TiDB数据库的Pump、Drainer组件，完成增量数据迁移，实现在应用不停服的情况下，平滑地完成数据库的迁移上云。前提条件 说明 增量迁移前，您可先将自建TiDB...
本文介绍查询用户OSS或专属存储的归档数据的操作步骤以及常见问题。前提条件 已完成 数据归档至用户OSS...同一个工单的周期归档会根据归档的时间生成不同时间段的数据归档，所以可以通过创建数据归档的时间，判断并查询目标时间段的数据归档。
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
数据追踪 由于误操作等原因导致数据不符合预期时，可以通过数据追踪将数据快速恢复到正常状态。测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障数据离散型、提高生产效率。SQL审核 SQL审核功能帮助您避免无索引SQL...
数据追踪 由于误操作等原因导致数据不符合预期时，可以通过数据追踪将数据快速恢复到正常状态。测试数据构建 测试数据结构可以在频繁的数据准备过程中确保数据安全、保障数据离散型、提高生产效率。SQL审核 SQL审核功能帮助您避免无索引SQL...
本文为您介绍如何授予和回收数据板块的权限。授权数据板块权限 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图操作指引，进入 数据板块授权 对话框。在 数据板块授权 对话框，配置参数。参数 描述 授权用户 授权用户 包括 个人账号 ...
本文为您介绍如何授予和回收数据板块的权限。授权数据板块权限 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图操作指引，进入 数据板块授权 对话框。在 数据板块授权 对话框，配置参数。参数 描述 授权用户 授权用户 包括 个人账号 ...
在DMS的SQL窗口中对数据库进行变更操作时，可能由于误更新、误删除、误写入等原因导致数据不符合预期。DMS 的数据追踪功能支持按需查找目标时间段内（数据库Binlog保存时长内）的相关更新信息，并生成回滚脚本，帮助您快速将数据恢复到变更...
您授权允许 数据安全中心（DSC）访问MaxCompute、RDS和对象存储OSS数据时，可能会出现授权失败的情况。您可以参考以下原因排查数据授权问题。RDS连接授权失败有哪些原因？RDS数据库账号或密码输入错误。您自行删除了RDS访问白名单中 DSC ...
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
物联网平台主要负责获取设备端数据，并通过规则引擎将数据转发至Table Store、DataHub、RDS、Message Service、Message Queue、TSDB、FC以及另外一个Topic。前提条件 您已经完成了 DataHub项目的创建。操作步骤 创建产品。登录阿里云 物...
规则名称 规则类型 规则等级 规则配置 非工作时间查询大数据量敏感数据 数据访问风险 低 如下时间段查询数据量大于10000时命中该规则。周一至周五：22:00～24:00。周六至周日：00:00～24:00。相似SQL查询 数据访问风险 低 十分钟内查询相似...
CREATE DATABASE语法用于在Lindorm实例中创建数据库，并设置数据库属性，例如数据有效期TTL，方便您统一归档数据。引擎与版本 CREATE DATABASE语法适用于宽表引擎和时序引擎。宽表引擎仅2.2.16及以上版本支持CREATE DATABASE语法。时序引擎...
本文介绍DTS全量同步或迁移慢的常见原因，以及相应的解决方法。您可以逐一排查这些原因，并根据解决方法恢复任务。问题现象 DTS在全量数据同步或迁移阶段时，可能会出现耗时很久的现象，或者出现任务卡住的迹象。可能原因 源库待同步或迁移...
步骤二：配置物理表字段信息 在 字段列表 配置页面配置当前物理表的表字段、数据类型、数据分类等结构信息。区域 描述 ① 字段列表操作 搜索：您可以通过表字段名称搜索所需字段。编辑DDL：编辑当前物理表的DDL语句。添加数据字段：包括 ...
进入恢复模式 重要 当您编写的过滤器有问题（例如死循环导致的看板卡顿）、数据源配置有问题（例如返回的数据量过大导致的看板卡顿）或自定义组件有逻辑问题等其他原因导致数据看板无法编辑时，使用恢复模式进入，可以删除掉带来问题的内容...
可能原因：数据查询超时。DataV设置了向数据库发起的请求不能超过10s的限制，即如果数据查询时间超过10s，就会报请求超时的错误。解决方法：此限制为DataV后台服务设置，用户无法修改。建议您优化查询SQL语句，或者调整表结构来缩短查询时...
可能原因：数据查询超时。DataV设置了向数据库发起的请求不能超过10s的限制，即如果数据查询时间超过10s，就会报请求超时的错误。解决方法：此限制为DataV后台服务设置，用户无法修改。建议您优化查询SQL语句，或者调整表结构来缩短查询时...
本产品（云数据库 RDS/2014-08-15）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求，可...
当您成功在DMS上登录数据库后，可在SQL Console中进行创建数据库、创建表、查询表数据、变更表数据等操作。本文以在RDS MySQL数据库中进行操作举例。创建数据库 在RDS控制台创建数据库 访问 RDS实例列表，在上方选择地域，然后单击目标实例...
本产品（云数据库 RDS/2014-08-15）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求，可...
异地灾备与异地多活是全球数据库网络（Global Database Network，简称GDN）中两种典型的应用场景。本文介绍这两种典型场景的业务架构及部署流程。异地灾备 通过异地灾备实现跨地域高可用，提升数据安全性和系统可用性。当发生机房或数据...
任意时间段内每日设备上下行消息统计 事件统计 任意时间段内每日设备上报事件数统计 例如，预置指标表 历史至今设备数量相关统计，包含的预置指标有 日期、创建设备数、创建设备数日同比（%）、激活设备数、激活设备数日同比（%）、在线...
常见数据泄露原因 在获得用户授权后，异常告警功能可检测以下类型的问题：内部数据泄漏 笔记本电脑和移动设备的丢失或失窃 敏感数据越权访问和存储 在职员工、待离职员工、合作伙伴、外包人员盗窃数据 员工外发、打印和复制敏感数据 意外...
A：PolarDB 是一个关系型数据库云服务，目前已在全球十多个地域（Region）的数据中心部署，向用户提供开箱即用的在线数据库服务。PolarDB 目前支持3种独立的引擎，分别可以100%兼容MySQL、100%兼容PostgreSQL、高度兼容Oracle语法，存储...
背景信息 物理备份：物理备份是指转储 OceanBase 的物理文件包含基线数据、日志归档数据等，一旦数据库发生故障，可以利用这些文件进行数据库恢复。逻辑备份：逻辑备份是指数据库对象级备份，支持表、库两种维度的备份。库级备份时，针对...
Lindorm基于存储计算分离、多模共享融合的云原生架构，具备 弹性、低成本、简单易用、开放、稳定 等优势，适合元数据、日志、账单、标签、消息、报表、维表、结果表、Feed流、用户画像、设备数据、监控数据、传感器数据、小文件、小图片等...
如果可用区A的网络存在故障，由于同步延迟问题，在可用区A网络恢复之前的时间段内可用区B的数据会一直处于缺失的状态。备实例资源利用率不高。在主备容灾下，大部分时间备实例的资源不会被使用，只有在主备切换操作的时候才会被访问。主备...
将数据库添加到数据库审计系统后，您可以为数据库配置安全规则（即审计规则），当数据库的审计记录命中审计规则时，数据库审计系统会触发告警。本文介绍如何配置审计规则。背景信息 审计规则支持内置规则和自定义规则。内置规则即数据库...
问题描述 在配置同步或迁移实例的 预检查 阶段，目标库对象数据存在性检查 出现警告，检查项的详情页面如下图所示：可能原因 DTS任务的目标端中的数据库或数据表有存量数据（例如目标Redis中用于接收数据的DB存在数据），且在 配置任务对象...
说明 为避免数据在某时间段内丢失或错乱，禁止使用 Rename 命令将两列的名称互换。例如，将A列和B列的列名做了调换操作。原因：由于实时同步支持断点续传，为保障不丢失数据，在重启实时同步回溯位点时可能会往前回溯一部分数据，此过程...
当源库连接性预检查失败时，可能是以下几种原因。数据库账号名或密码不正确 报错示例 Access denied for user 'XXX'@'XXX'(using password:YES)检测方法 使用命令行或客户端连接源数据库，验证数据库账号名和密码是否正确。常见错误：填写...
本文为您介绍如何批量授予和批量回收数据源的权限。前提条件 需完成创建数据源。如需创建，请参见 数据源管理。授权数据源权限 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图操作指引，进入 数据源授权 对话框。根据数据源授权...
本文为您介绍如何批量授予和批量回收数据源的权限。前提条件 需完成创建数据源。如需创建，请参见 数据源管理。授权数据源权限 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图操作指引，进入 数据源授权 对话框。根据数据源授权...