背景信息 在数据传输控制台创建从 OceanBase 数据库 Oracle 租户迁移数据至 Oracle 数据库的数据迁移任务，您可以通过结构迁移、全量迁移和增量同步，无缝迁移源端数据库中的存量业务数据和增量数据至 Oracle 数据库。数据传输支持将多个 ...
计算公式 1：总数据量=热数据量+冷数据量，计算公式 2：总数据量=表记录数据量+普通索引数据量+主键索引数据量+其他。1577 HotDataSize long 热数据量，单位：Byte。1048576 OtherSize long 其他，单位：Byte。1048576 SchemaNames string ...
说明 如需从API视角查看上游（数据源）和下游（APP）的完整端到端血缘链路，请参考 查看API详情。查看血缘信息 使用说明 您可以进行 编辑、查看历史版本 和 查看markdown语法 等操作，根据数据的业务说明了解相关的信息。数据健康 数据治理...
测试项 测试值 数据同步时间 无 占用存储大小 无 查询执行时间 无 查询费用预估 无 记录数据同步时间 在您执行数据同步任务后，可以在 运维中心 周期实例 页面右键查看用户任务运行时间，如下图所示。记录占用存储大小 登录 DataWorks控制...
测试项 测试值 数据同步时间 无 占用存储大小 无 查询执行时间 无 查询费用预估 无 记录数据同步时间 在您执行数据同步任务后，可以在 运维中心 周期实例 页面右键查看用户任务运行时间，如下图所示。记录占用存储大小 登录 DataWorks控制...
SQL审计 SQL审计功能可以实时记录数据库的DML和DDL操作信息，您可以在SQL审计页面查询执行耗时长的异常SQL，便于您快速分析定位解决问题。详细介绍，请参见 SQL审计。健康状态监控 建议实时了解云资源的健康状态，方便在有任何异常的情况下...
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
解决方案 Compaction会把选中的数据文件，包含BaseFile和DeltaFile，将其中同一主键的多条记录合并，消除数据的 UPDATE 和 DELETE 中间状态，只保留最新状态的一行记录，最后生成新的只包含 INSERT 类型数据的数据文件BaseFile。...
公式 2：总数据量=表记录数据量+普通索引数据量+主键索引数据量+其他。1577 HotDataSize long 热数据量，单位：Byte。1048576 OtherSize long 其他，单位：Byte。1048576 SchemaNames string 数据库名列表。['adb_platform','adb_ai','adb_...
SQL审计功能可以实时记录数据库DML和DDL操作信息，并提供数据库操作信息的检索功能。使用限制 SQL审计日志不记录以下操作：INSERT INTO VALUES REPLACE INTO VALUES UPSERT INTO VALUES 开启/关闭SQL审计 登录 云原生数据仓库AnalyticDB ...
淘宝和天猫交易订单信息库 淘宝和天猫存储用户交易数据的数据库，需要保存用户所有的历史交易记录以供查询，当前交易记录数据库集群现状如下：数据条目超过万亿级，磁盘容量达到PB级。在大促时面临极大的写入压力。虽然可以通过水平拆库，...
新建HttpFile数据源（user_behavior_analysis_httpfile）本教程提供的用户网站访问记录数据存储在OSS中，您需要创建Httpfile数据源，以便在后续将OSS中的用户网站访问记录（user_log.txt）同步至MaxCompute。在 管理中心 页面，单击左侧...
新建HttpFile数据源（user_behavior_analysis_httpfile）本教程提供的用户网站访问记录数据存储在OSS中，您需要创建Httpfile数据源，以便在后续将OSS中的用户网站访问记录（user_log.txt）同步至MaxCompute。在 管理中心 页面，单击左侧...
开启后，系统将自动记录数据库内核中执行的SQL变动及其相关信息（如执行账号、IP地址、执行详情等），开启及使用该功能对实例性能几乎无影响，为您后续查询历史SQL变更记录及开展分析与审计提供可靠的数据支持。功能概览 审计：查询并导出...
本文介绍数据安全中心产品功能、敏感识别规则（识别模板）和文档的变更记录。产品功能更新记录 2025年04月 功能名称 变更类型 动态说明 发布时间 相关文档 售卖 迭代 新增售卖高级版，更新企业版售卖规格，已购企业版用户不受影响。2025.04...
开启后，系统将自动记录数据库内核中执行的SQL变动及其相关信息（如执行账号、IP地址、执行详情等），开启及使用该功能对实例性能几乎无影响，为您后续查询历史SQL变更记录及开展分析与审计提供可靠的数据支持。功能概览 审计：查询并导出...
本文将介绍如何创建HttpFile和MySQL数据源以访问用户信息和网站日志数据，配置数据同步链路将这些数据同步到在环境准备阶段创建的OSS存储中，并通过创建EMR Hive外表解析OSS中存储的数据。通过查询验证数据同步结果，确认是否完成整个数据...
移动数据分析Quick A+Digital Analytics 移动数据分析Quick A+Digital Analytics是阿里云推出的一款移动App数据统计分析产品，为开发者提供一站式数据化运营服务。当移动数据分析自带的基础分析报表不能满足App开发者的个性化需求时，App...
本文将介绍如何创建HttpFile和MySQL数据源以访问用户信息和网站日志数据，配置数据同步链路将这些数据同步到在环境准备阶段创建的OSS存储中，并通过创建Spark外表解析OSS中存储的数据。通过查询验证数据同步结果，确认是否完成整个数据同步...
本文将介绍如何创建HttpFile和MySQL数据源以访问用户信息和网站日志数据，配置数据同步链路将这些数据同步到在环境准备阶段创建的OSS存储中，并通过创建Spark外表解析OSS中存储的数据。通过查询验证数据同步结果，确认是否完成整个数据同步...
E-MapReduce集群默认在Hive服务上集成了EMR-HOOK。EMR-HOOK可以收集作业的SQL信息，例如数据血缘、访问频次等...hive-env.sh hive_aux_jars_path 相关文档 如需配置Spark服务的EMR-HOOK，详情请参见 SparkSQL使用扩展记录数据血缘和访问历史。
2024-12-27 通过资源组授权访问云数据库SelectDB实例 数据迁移及同步 新增 支持在 云数据库SelectDB 控制台配置DTS迁移或同步任务，将PostgreSQL系列数据源（自建/RDS/PolarDB）的库表结构和全增量数据，迁移或同步到 云数据库SelectDB ...
开启后，系统将自动记录数据库内核中执行的SQL变动及其相关信息（如执行账号、IP地址、执行详情等），开启及使用该功能对实例性能几乎无影响，为您后续查询历史SQL变更记录及开展分析与审计提供可靠的数据支持。前提条件 您的账号已 购买...
开启后，系统将自动记录数据库内核中执行的SQL变动及其相关信息（如执行账号、IP地址、执行详情等），开启及使用该功能对实例性能几乎无影响，为您后续查询历史SQL变更记录及开展分析与审计提供可靠的数据支持。前提条件 您的账号已 购买...
开启后，系统将自动记录数据库内核中执行的SQL变动及其相关信息（如执行账号、IP地址、执行详情等），开启及使用该功能对实例性能几乎无影响，为您后续查询历史SQL变更记录及开展分析与审计提供可靠的数据支持。空间管理 提供分层的监控与...
E-MapReduce集群默认在Spark2和Spark3服务上集成了EMR-HOOK。EMR-HOOK可以收集作业的SQL信息，例如数据血缘、访问...spark.executor.extraClassPath 相关文档 如需配置Hive服务的EMR-HOOK，详情请参见 Hive使用扩展记录数据血缘和访问历史。
阿里云EMR凭借弹性扩展的计算集群、多源异构数据融合治理以及实时流批一体处理等卓越能力，已经广泛应用于金融风控、电商精准营销、物联网时序数据处理等多个领域。本文为您介绍EMR在数据湖、数据分析、实时数据流、数据服务四个场景的典型...
DataX是异构数据源离线同步的工具，支持多种异构数据源之间高效的数据同步。Dataphin系统内嵌了DataX组件，支持通过构建Shell任务调用DataX，实现数据同步。本教程以RDS MySQL数据库为例，为您介绍基于Dataphin如何调用DataX同步数据。前提...
说明 时态表，也称动态表，是指基于表的（参数化）视图概念，根据时间记录数据变更历史，分为版本表（可显示数据的历史版本）和普通表（仅显示数据的最新版本）。时态JOIN要求流表定义时间属性，右表要有主键；如右表是维表，则您所设置的 ...
创建日志表 ddl_ods_raw_log_d_starrocks 同步数据至StarRocks前，需创建 ddl_ods_raw_log_d_starrocks 表，以接收从Httpfile数据源中同步的用户网站访问记录数据，可通过以下方式在节点内建表，也可以通过 数据目录 手动创建以下数据表。...
本教程以MySQL数据源中的用户基本信息 ods_user_info_d 表和HttpFile中的网站访问日志数据 user_log.txt 文件为例，通过数据集成离线同步任务分别同步至私有OSS中，再通过Spark SQL创建外部表来访问私有OSS数据存储。本章节旨在完成数据...
本教程以MySQL数据源中的用户基本信息 ods_user_info_d 表和HttpFile中的网站访问日志数据 user_log.txt 文件为例，通过数据集成离线同步任务分别同步至私有OSS中，再通过Spark SQL创建外部表来访问私有OSS数据存储。本章节旨在完成数据...
您可以查看数据导出的记录，并对数据进行下载或删除。本文主要介绍如何查看数据导出记录。前提条件 已进行数据导出操作，具体操作，请参见 相关操作-导出数据。操作步骤 登录 数据资源平台控制台。在页面左上角单击 图标，选择 探索。在...
数据的缺失包括数据记录的缺失（表行数异常）和记录中某字段信息的缺失（字段出现空值）。在本教程中，您需要重点关注数据的生产环节（MaxCompute外部表引用的表格存储数据）和加工环节（数据仓库CDM及ADS层）中表行数是否大于0、表行数...
对于INSERT、UPDATE和DELETE等不同的操作类型，增量数据记录中的_before_image_和_after_image_定义如下：当操作类型为INSERT时，生成的记录为更新后的记录，_before_image_取值为N，_after_image_取值为Y。当操作类型为UPDATE时，数据集成...
敏感数据记录具有T+1的延迟。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据治理 安全中心，在右侧页面中单击 进入安全中心。在左侧导航栏，选择进入 审计 敏感数据访问 页面。选择查看 MaxCompute 或者 Hologres 的敏感...
创建数据库app_db并指定字符集（建议使用utf8mb4，其支持更多字符）CREATE DATABASE app_db DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;创建数据库并指定中文字符集（适用于特定场景）CREATE DATABASE ...
您可以查看数据导入的记录，包括数据字典、变量映射、资源管理、算子和模型的导入。本文主要介绍如何查看我的导入记录。操作步骤 登录 数据资源平台控制台。在页面左上角单击 图标，选择 探索。在页面右上角，单击 图标，选择 我的导入记录...
调用GetDataServiceApplication查询数据服务App的详情。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 ...
单次操作记录数≥10000条 批量更新敏感数据 单次更新敏感数据记录数超过阈值。批量删除敏感数据 单次删除敏感数据记录数超过阈值。批量上传敏感数据 单次上传敏感数据记录数超过阈值。批量导出敏感数据 单次导出敏感数据记录数超过阈值。...