PolarDB 集群的数据备份是指在某个时间点上对集群的全量数据进行备份,生成一个备份集(快照)。该备份过程采用ROW(Redirect-on-Write)快照机制,直接存储在 PolarDB 集群的分布式存储系统上。在保存备份时,数据并未被真正复制。而当...
在使用Dataphin前,您可将需要引入Dataphin的数据源接入到Dataphin中,已接入的数据源可用于读取原始数据和写入到已接入的数据源中。Dataphin具备丰富的数据源类型接入,支持对接如MaxCompute、Hive等数据仓库,也支持对接企业传统数据库,...
PolarDB 集群的数据备份是指在某个时间点上对集群的全量数据进行备份,生成一个备份集(快照)。该备份过程采用ROW(Redirect-on-Write)快照机制,直接存储在 PolarDB 集群的分布式存储系统上。在保存备份时,数据并未被真正复制。而当...
进入计量详情页面 登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据分析与服务 数据服务,在下拉框中选择对应工作空间后单击 进入数据服务。单击页面上方的 服务管理,默认进入 API管理 页面。在左侧导航栏,单击 API计量 ...
若您要使用DataV-Note(智能分析)对您的数据库、数据仓库(例如,RDS MySQL、MaxCompute)、本地文件数据进行分析及报告制作,则需先将相应数据创建为DataV-Note的数据源或导入至DataV-Note。本文为您介绍DataV-Note支持接入的数据类型,...
从账号下已有的数据源添加的数据目录,在数据目录列表页面中,仅会展示与DataWorks项目空间处于相同地域下、且您有权限访问的数据源实例。管理数据目录 隐藏数据目录 如果您在开发过程中不希望看到与当前操作数据目录无关的其他数据目录,...
自建数据库包含第三方云的数据库实例、部署在您本地的数据库、部署在ECS实例的数据库。库表结构任务 结构任务 库表结构同步 或 库表结构迁移 模块运行时对应的任务。全量任务 全量任务 全量同步 或 全量迁移 模块运行时对应的任务。增量...
说明 DTS的数据同步功能可支持更加丰富的 Tair 同步场景和功能,建议通过DTS的数据同步功能来完成数据迁移。更多信息,请参见 数据同步。使用DTS遇到预检查报错,如何解决?DTS在执行数据迁移或数据同步任务之前,会对源库和目标执行预检查...
MaxCompute平台支持丰富的数据上传和下载工具(其中大部分工具已经在GitHub公开源代码,以开源社区的方式进行维护)。您可以根据实际应用场景,选择合适的工具进行数据的上传和下载。阿里云数加产品 MaxCompute客户端(Tunnel通道系列)...
Database Name AnalyticDB for MySQL 集群的数据库。在左侧导航栏单击 Create New Query。在页面的编辑框中编写SQL语句并单击 Execute 执行。SQL语句执行完成后,可以单击+Add Visualization 为返回结果创建可视化图表。更多详情,请参见 ...
您可在识别结果页面查看数据资产的数据分类、数据分级的识别结果信息,以下为不同信息的说明:识别信息 说明 数据源类型 数据资产归属的数据引擎。实例/项目/数据库 数据资产归属的实例、项目或数据库名称。表 数据资产归属的数据表的名称...
在我的数据模块中,您可以管理数据页面、上传数据等。本文为您详细介绍这些功能。进入我的数据 在 空间数据平台 的左侧标签栏中选择 我的数据。数据分组管理 在 我的数据分组 页签中,您可按数据类型进行分组管理,支持以下功能:功能 说明...
本文档介绍配置资产数据的方法,以及资产数据面板的内容,包括数据接口、数据源、数据过滤器和数据轮询频次等。操作步骤 登录 DataV控制台。在 我的可视化 页面,单击您创建的可视化应用项目上方的 编辑 按钮。在画布编辑器页面,单击 图层...
在审计数据库前,您必须在数据库审计系统中添加要审计的数据库。本文介绍如何在数据库审计系统中管理数据库。背景信息 关于数据库审计支持的数据库类型,请参见 支持的数据库类型。添加数据库 您可以参考以下步骤在数据库审计系统中添加要...
通过将拥有共同属性的数据资产集中到同一个数据域中,管理员可以高效管理数据资产及资产中的敏感数据。本文介绍如何使用数据域功能分类管理资产。应用场景 企业中有较多的数据资产,分别属于不同的部门,需要按部门划分资产,以便数据管理...
当需要识别的目标数据包含样本库中的数据时,则会命中该识别规则。该功能通常用于识别可以使用枚举值罗列的数据,例如,员工姓名、用户地址等。本文为您介绍如何创建并管理样本库。使用限制 DataWorks仅支持上传大小不超过500KB,UTF-8 ...
类目配置完成后,您可以在我的数据(我拥有的数据、我管理的数据)页面批量将表添加到指定类目。详情请参见 我的数据。表管理:对于MaxCompute数据类型,数据地图支持批量修改中文名、生命周期,支持批量删除开发表或者生产表,批量转交表...
保持源实例数据库B与应用程序的断开状态,验证源和目标实例的数据库B数据一致后,将应用程序的相关数据库服务切换至目标实例的数据库B并恢复业务。登录目标实例数据库B,根据数据库类型选择下述命令查看会话信息,确保有新的会话执行写入...
数据集成是一个稳定高效、弹性伸缩的数据同步平台,致力于提供在复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。流程引导 重要 数据集成在使用时,仅支持在PC端Chrome浏览器69以上版本使用。数据集成的通用开发流程...
您可以通过数据迁移功能实时迁移其他数据源的数据至 OceanBase 数据库,以及迁移 OceanBase 数据库的数据至其他数据源。本文以迁移 MySQL 数据库的数据至 OceanBase 数据库为例,介绍如何使用数据传输迁移数据。前提条件 在迁移数据之前,...
数据集成是一个稳定高效、弹性伸缩的数据同步平台,致力于提供在复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。流程引导 重要 数据集成在使用时,仅支持在PC端Chrome浏览器69以上版本使用。数据集成的通用开发流程...
本文介绍数据迁移的最佳实践,包含将其他业务平台的业务数据或日志数据迁移至MaxCompute,或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据,如果您的数据存放在传统的关系型数据库且数据量庞大时,...
可能是您录入的数据库实例已从 数据连接管理 页面删除,或者 选择已有的数据库连接 所属的区域与已录入的数据库实例的 类型 不符。如何在DMS中录入数据库实例?请参见 云数据库录入 和 他云/自建数据库录入。说明 DMS不支持以源库或目标库...
同步其他数据源的数据至Hologres数据源的场景中,完成源数据的信息配置后,需要配置Hologres输出组件的目标数据源。本文为您介绍如何配置Hologres输出组件。前提条件 已创建Hologres数据源并已申请Hologres数据源的同步写权限:如何创建...
StarRocks自2.3版本起支持Catalog(数据目录)功能,实现在一套系统内同时维护内、外部数据,方便您轻松访问并查询存储在各类外部源的数据。本文为您介绍什么是Catalog,以及如何使用Catalog管理和查询内外部数据。基本概念 内部数据:...
本文介绍数据迁移的最佳实践,包含将其他业务平台的业务数据或日志数据迁移至MaxCompute,或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据,如果您的数据存放在传统的关系型数据库且数据量庞大时,...
数据集成是基于Dataphin构建的简单高效的数据同步平台,致力于提供强大的数据预处理能力和丰富的异构数据源之间数据高速稳定的同步能力。5分钟快速了解 背景信息 面对各行各业对大数据的应用,数据集成会有很多的诉求,包括能够简单高效地...
项目 限制说明 数据类型 云数据库 Memcache 版仅支持 Key-Value 格式的数据,不支持 array、map、list 等复杂类型的数据。数据可靠性 云数据库 Memcache 版的数据存储在内存中,服务并不保证缓存数据不会丢失,有强一致性要求的数据不适合...
需求分析 在未考虑数据分析师和业务运营人员的数据需求的情况下,单纯根据业务调研结果构建的数据仓库可用性差。完成业务调研后,您需要进一步收集数据使用者的需求,进而对需求进行深度的思考和分析。需求分析的途径有两种:根据与分析师...
查看集群级别的数据量 通过 空间总览 可以查看当前集群的 总数据量、热数据量、冷数据量、以及 最近24小时 和 近一周日均 的 数据增长量。登录 云原生数据仓库AnalyticDB MySQL控制台,在左上角选择集群所在地域。在左侧导航栏,单击 集群...
时序引擎也支持创建多个数据库,不同的数据库在存储层面进行物理隔离,支持设置不同的数据有效期(TTL)、时间分区和冷热存储分界线。创建数据库的具体操作,请参见 CREATE DATABASE。示例 创建一个名为DB1的数据库,设置数据为不过期。...
同一个名称的数据源可存在开发环境和生产环境两套配置,设置两个不同的数据库/实例,使任务在测试和生产调度时操作的数据隔离,确保生产环境数据的安全。如:执行数据开发或离线同步任务时,系统自动根据任务当前所在环境,访问对应的数据...
流程图说明:步骤 说明 1 用户的 APP(业务系统)向主集群的数据库节点(运行 OBServer 进程的服务器)写入/读取数据。2 主集群(生产集群)的数据写入生成 REDO 日志。3 主集群自动向备集群通过日志异步复制的方式传输 REDO 日志。4 备...
入仓解决方案可添加和运行多个实时同步任务、实时迁移任务,实现全量或近实时增量迁移和集成数据,用于满足项目空间内业务场景的数据迁移和集成需求。根据所需的同步效率、同步数据量需求,创建入仓解决方案同步线上库数据。入仓解决方案...
数据集成(Data Integration)是阿里巴巴集团提供的数据同步平台。该平台具备可跨异构数据存储系统、可靠、安全、低成本、可弹性扩展等特点,可为20多种数据源提供不同网络环境下的离线(全量/增量)数据进出通道。关于数据集成的更多信息...
数据校验 支持在数据迁移或同步任务中,或创建独立的数据校验任务,对比源端和目标端的数据,以验证数据的一致性。作为一项保障能力,帮助您及时发现并定位数据不一致问题,确保数据传输的准确性。产品优势 相较于传统的数据迁移或同步工具...
您可以使用 DataWorks 添加 ApsaraDB For OceanBase 数据源,管理 OceanBase 数据库中的数据,通过数据集成功能,实现在复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。在 DataWorks 添加 ApsaraDB For OceanBase ...
云数据库MongoDB提供了多种数据迁移和同步方案,可满足不同业务场景下MongoDB数据库的数据迁移和同步需求。影响 如果实例的数据库小版本过期或不在维护列表内,当执行以下操作时,为保证提供更出色的性能和稳定性,系统会默认将您的数据库...
什么情况下需要收集统计信息 当表上有大量的数据修改时,例如从数据源加载大量数据(ETL)或者大量历史数据归档,建议手动收集表上的统计信息,以保证查询优化器可以选取最优的执行计划。如何收集统计信息 您可以 连接MySQL实例 后执行如下...
需求分析 在未考虑数据分析师和业务运营人员的数据需求的情况下,单纯根据业务调研结果构建的数据仓库可用性差。完成业务调研后,您需要进一步收集数据使用者的需求,进而对需求进行深度的思考和分析。需求分析的途径有两种:根据与分析师...