本文介绍数据传输服务中数据迁移任务、数据同步任务、数据订阅任务、数据校验任务和Serverless任务先购买再配置的流程。前提条件 已 注册阿里云账号。若您要创建按量付费的任务，建议您的账户余额大于等于100元。费用说明 详情请参见 计费...
DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL、SQL Server、PostgreSQL、MongoDB、...
迁移方案 数据传输服务DTS是阿里云提供的实时数据流服务，支持关系型数据库（RDBMS）、非关系型的数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，助力用户构建安全、可扩展、高...
问题示例 使用数据传输服务（DTS）同步完Redis后，使用Redis的 info keyspace 命令查看源端和目标端的keys情况，出现源端和目标端数据不一致，且含过期时间的keys占很大比重。如下图：可能原因 单靠 info keyspace 的 expires 来判断数据...
A AliPG 阿里云支持一系列兼容PostgreSQL的云数据库服务产品，这些云数据库服务采用统一的数据库内核（简称AliPG），AliPG兼容PostgreSQL开源数据库，于2015年正式商用，支持PostgreSQL主流大版本，已稳定运行多年，支撑了大量阿里巴巴集团...
为什么实例内存报警与监控的内存使用率不一致 如何处理集群数据倾斜 如何解决实例内存使用率突然升高 如何查询云数据库 Tair（兼容 Redis）中过大的Key 查看Tair集群实例的各分片信息 查看Tair集群架构各子节点内存等相关性能 查看Tair集群...
DataWorks 计费体系为适应不同业务场景而设计得非常灵活，因此包含软件版本、资源组、其他服务及底层引擎等多个组成部分。本文旨在帮您做出明智的购买决策，根据自身业务阶段选择最优配置以实现成本效益最大化，并提供针对个人开发者、成长...
慢日志问题极大地影响数据库的稳定性，当数据库出现负载高、性能抖动等问题时，数据库管理员或开发首先会查看是否有慢日志在执行。数据库自治服务DAS（Database Autonomy Service）支持慢日志分析功能，会统计并分析数据库中执行时间超过...
DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL、SQL Server、PostgreSQL、MongoDB、...
备份计费项 计费项 计费项Code 计费归属产品 相关文档 RDS基础备份费用 BackupCharged 关系型数据库RDS 备份PostgreSQL数据 高频快照备份 跨地域备份存储费用 DdrOssStorageSize 关系型数据库RDS 跨地域备份 跨地域备份网络流量费用 ...
什么时候用数据库隔离级别，什么时候用数据对象隔离级别？如果业务是按照数据库database或schema来做隔离的，同时各个数据库之间的关联查询和更新比较少，那么可以用数据库隔离级别来管理。这个也是默认的方式。优点是以后切换访问点，管理...
为什么选择云数据库RDS 安全稳定可靠 历经考验：已支撑数十万用户的业务稳定运行，且经过双十一高并发、大数据量的考验。高可用性：支持主备容灾架构、自动故障切换、跨可用区容灾，最高可保障 99.99%可用性。备份恢复：提供自动备份，支持...
为什么使用 Embedding 随着大语言模型（LLM）技术的持续演进，对企业而言，将私有知识深度整合至模型体系，是实现其在实际业务场景中有效落地并创造价值的关键。检索增强生成（RAG）由此成为重要的技术路径之一，通过将数据编码为向量表示...
数据缺失 数据同步完成，目标表中的数据与源端表数据不一致 非插件报错原因及解决方案 脏数据 如何处理编码格式设置/乱码问题导致的脏数据报错？SSRF攻击 任务存在SSRF攻击Task have SSRF attacks如何处理？网络通信问题 离线同步任务执行...
本文为您介绍DataWorks中，数据集成、数据建模、数据开发、数据分析、数据服务等模块开发过程中涉及的相关基本概念。通用概念 工作空间 工作空间 是DataWorks管理任务、成员，分配角色和权限的基本单元。工作空间管理员可以为工作空间加入...
数据保护伞基于敏感字段类型来配置敏感数据识别规则，规则配置完成后，即可用于识别租户内相应类型的敏感数据。DataWorks为您提供了多种内置敏感字段类型及识别规则，若内置规则不满足您的业务需要，您也可自定义敏感字段类型及识别规则。...
在开始使用MaxCompute产品前，您可以提前查阅MaxCompute所涉及的术语及其含义，为了解产品及快速上手提供帮助。本文为您介绍MaxCompute涉及的术语及其概念。A AccessKey 简称AK，包括AccessKey ID和AccessKey Secret，是访问阿里云API的...
本文对使用 数据灾备 时所遇到的一些常见问题提供解决方案。跨阿里云账号备份或恢复数据时如何配置RAM授权？使用 源数据库实例 所属的阿里云账号登录 RAM控制台。说明 请确保源数据库实例所属账号拥有AliyunDBSDefaultRole权限。在左侧导航...
DTS 数据传输服务（Data Transmission Service，简称DTS）支持关系型数据库（RDBMS）、非关系型数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，帮助您构建安全、可扩展、高可用的...
云数据库 MongoDB 版（ApsaraDB for MongoDB）完全兼容MongoDB协议，基于飞天分布式系统和高可靠存储引擎，提供多节点高可用架构、弹性扩容、容灾、备份回滚、性能优化等解决方案。云数据库 MongoDB 版 提供了多样化的安全加固功能来保障您...
数据安全中心 DSC（Data Security Center）提供数据洞察能力，通过管理敏感数据识别任务，可协助您识别已授权资产中存在的敏感信息，并进行分类分级管理，包括敏感数据的位置、敏感类型和级别等。掌握数据资产中敏感数据有助于正确管理对应...
数据传输服务DTS（Data Transmission Service）支持将OceanBase数据库迁移至 RDS MySQL 实例，帮助您解决数据库运维的烦恼。前提条件 源OceanBase数据库须为DTS支持的版本。若源库为云数据库OceanBase版，则仅支持集群实例，不支持租户实例...
数据传输服务是MaxCompute数据进出的最重要通道，其中包括适用于批量操作的普通Tunnel和适用于流式写入的Stream Tunnel，同时在所有Region提供免费限量使用的数据传输服务共享资源组，也提供数据传输服务（包年包月）独享资源组，供您采购...
这种情况符合数据开发的实际情况，如果可以用SQL处理，通常优先使用SQL处理数据。某账号提交的任务非常多，经了解，其将自己的AccessKey通过SDK的方式配置了一个查询软件，并提供多人进行查询。不推荐该方式，请谨慎开放权限，避免多人共用...
Data Studio介绍 Data Studio是智能湖仓一体数据开发平台，内置阿里巴巴15年大数据建设方法论，深度适配阿里云MaxCompute、E-MapReduce、Hologres、Flink、PAI等数十种大数据和AI计算服务，为数据仓库、数据湖、OpenLake湖仓一体数据架构...
Data Studio介绍 Data Studio是智能湖仓一体数据开发平台，内置阿里巴巴15年大数据建设方法论，深度适配阿里云MaxCompute、E-MapReduce、Hologres、Flink、PAI等数十种大数据和AI计算服务，为数据仓库、数据湖、OpenLake湖仓一体数据架构...
DataV通过与DataWorks数据服务的对接，通过交互式分析Hologres连接DataWorks数据服务开发并生成API，快速在DataV中调用API并展现MaxCompute的数据分析结果。数据服务对接DataV产生背景 MaxCompute是阿里巴巴集团自主研究的快速、完全托管的...
支持 支持 规则配置（敏感数据识别 数据识别规则）不支持 支持 支持 支持 规则配置（敏感数据识别 自生成数据识别模型）不支持 不支持 不支持 支持 规则配置（敏感数据识别 数据样本管理）不支持 不支持 不支持 支持 规则配置（敏感数据...
数据管理DMS是一款支撑数据全生命周期的一站式数据管理平台，本文介绍数据管理DMS 以及内置 数据灾备（DBS）的产品优势。实现全域数据资产管理 支持全域数据资产：关系型数据库：MySQL、SQL Server、PostgreSQL、PolarDB MySQL版、PolarDB ...
为什么没有设置主键（primary key）的表，用INSERT OVERWRITE插入，会出现重复数据？为什么使用查询语句SELECT*FROM TABLE GROUP BY KEY后，报错“Column 'XXX' not in GROUP BY clause”？为什么执行INSERT OVERWRITE SELECT语句后，原表...
例如，能够使用整型就不要使用字符串类型，能够使用int就不要使用bigint，精确的数据类型能够更好的发挥数据库的性能。当Routine Load出现性能问题时，如何进行参数调优？参数调优策略 当Routine Load出现性能问题时，您可以考虑从如下几个...
D DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL、SQL Server、PostgreSQL、MongoDB、...
您需先将您的OceanBase数据库创建为DataWorks的OceanBase数据源，才可通过该数据源访问相应数据库的数据。创建数据源，请参见 创建并管理数据源；关于OceanBase数据源在DataWorks的使用介绍，请参见 ApsaraDB For OceanBase数据源。说明 ...
从用户角度来看，需要满足用户使用云的一些期望，比如用户的数据库数据永远不会丢，即使主机异常宕机，这里需要有数据强一致以及高可用容灾等能力；比如随着移动互联网和IoT的普及，数据层面会有爆炸式的增长，以及疫情之后有更多的企业会...
如果您拥有原实例的数据备份和日志备份，可以将其恢复到新实例中，可用于误操作后恢复以及分析历史数据等场景。前提条件 原实例需要满足如下条件：实例运行状态为 运行中 且没有被锁定。当前没有进行中的迁移任务。已完成备份。RDS默认有...
调度日历 数据治理中心 资产标签管理-治理问题识别与优化 事前检查项的预防拦截 资源统计分析 治理成效评估 数据质量-动态阈值、质量报告、自定义规则模板库 数据地图 表血缘、字段血缘 数据专辑-数据分析 数据分享、SQL查询下载、代码搜索...
简介 MaxCompute开放的公开数据集类别包括：GitHub公开事件数据、国家统计数据、TPC性能测试数据、数字商业类数据、生活服务类数据、金融股票类数据。所有的数据均存储在MaxCompute产品的公开项目BIGDATA_PUBLIC_DATASET的不同Schema中。...
使用限制 支持的地域：华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）、华南1（深圳）、西南1（成都）、中国香港、新加坡、马来西亚（吉隆坡）、德国（法兰克福）、美国（硅谷）、美国（弗吉尼亚）。步骤一：创建 ...
2024.09.24 OSS图片脱敏 列加密 新增 新增列加密服务，可以对RDS数据库表中已扫描识别的敏感数据列进行访问加密，避免非授权人员通过云平台软件或数据库连接工具直接访问到敏感数据明文，实现数据在数据库内可用不可见。2024.09.20 列加密 ...
云数据库RDS、云原生数据库PolarDB、云数据库MongoDB、云数据库 Tair（兼容 Redis）、云原生数据仓库AnalyticDB PostgreSQL版产品的备份恢复功能均由 数据灾备 提供，各产品功能动态详情如下。功能发布更新 2025年 09月 功能名称 变更类型 ...