手动输入数据 适用于采集的数据比较少，或者需要修改已采集到的数据的场景。自动抽样数据 自动抽样到的数据是随机的，所以适用于对采集到的数据没有限制的场景。针对MaxCompute、DataHub、Kafka数据源支持自动抽样数据，您可单击 自动抽样...
手动输入数据 适用于采集的数据比较少，或者需要修改已采集到的数据的场景。自动抽样数据 自动抽样到的数据是随机的，所以适用于对采集到的数据没有限制的场景。针对 HBase、MaxCompute、DataHub、Kafka数据源支持自动抽样数据，您可单击 ...
一般来说，业务通常不会对ODS层的数据表使用Clustering，原因在于ODS层的数据比较接近原始的业务数据，通常是通过外部的采集链路持续导入的，对数据导入的性能有很高的要求，而原有Clustering表代价巨大的写入模式无法满足低延迟高吞吐的...
可信执行环境依赖Intel SGX 安全增强型规格提供对密文数据进行比较和其它常见计算，具体规格清单请参见 RDS PostgreSQL主实例规格列表。其它规格（非Intel SGX 安全增强型规格）：全密态功能可以利用密码学方法提供数据安全保护，此时其...
可信执行环境依赖Intel SGX 安全增强型规格提供对密文数据进行比较和其它常见计算，具体规格清单请参见 RDS PostgreSQL主实例规格列表。其它规格（非Intel SGX 安全增强型规格）：全密态功能可以利用密码学方法提供数据安全保护，此时其...
可信执行环境依赖Intel SGX 安全增强型规格提供对密文数据进行比较和其它常见计算，具体规格清单请参见 RDS PostgreSQL主实例规格列表。其它规格（非Intel SGX 安全增强型规格）：全密态功能可以利用密码学方法提供数据安全保护，此时其...
在一些数据同步场景，脏数据的出现会导致任务同步效率下降，以关系数据库写出为例，默认是执行batch批量写出模式，在遇到脏数据时会退化为单条写出模式（以找出batch批次数据具体哪一条是脏数据，保障正常数据正常写出），但单条写出效率会...
数据保护伞是一款数据安全管理产品，为您提供数据发现、数据脱敏、数据水印、访问控制、风险识别、数据溯源等多种功能，帮助您快速梳理敏感数据并进行安全管控，保障数据安全。本文为您介绍数据保护伞的使用流程、使用限制等内容。使用流程...
数据集成是一个稳定高效、弹性伸缩的数据同步平台，致力于提供在复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。流程引导 重要 数据集成在使用时，仅支持在PC端Chrome浏览器69以上版本使用。数据集成的通用开发流程...
数据集成是一个稳定高效、弹性伸缩的数据同步平台，致力于提供在复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。流程引导 重要 数据集成在使用时，仅支持在PC端Chrome浏览器69以上版本使用。数据集成的通用开发流程...
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
数据资产：数据资源平台中存在大量的数据表、标签、API等各类数据资产，数据管理者通过数据汇聚、数据治理、数据分析后，需要对整个平台数据进行统一管控，了解平台的核心数据资产，提供对应的数据资产管理规范。统一服务 应用：是调用API...
OceanBase 数据库相同租户之间的数据同步 新功能特性 迁移 PostgreSQL 数据库的数据至 OceanBase 数据库 Oracle 租户时，新增支持动态修改迁移/同步对象，包括动态增加/减少对象和动态修改匹配规则，支持用户在一个数据迁移/同步任务中管理...
使用场景 当数据访问分布比较均匀，数据没有明显的冷热分别时，大量的访问请求在云数据库 Memcache 版无法命中，使用云数据库 Memcache 版作为数据库缓存的效果不明显。在选择缓存时，需要充分考虑到业务模式对数据访问的要求。数据删除...
Hive兼容数据类型版本是MaxCompute三种数据类型版本之一，该数据类型版本下仅支持Hive兼容数据类型。本文为您介绍Hive兼容数据类型版本的定义、支持的数据类型以及与其他数据类型版本的差异。定义 项目空间选择数据类型版本为Hive兼容数据...
在MaxCompute的使用过程中，如果已经积累了大量数据占用了大量存储资源，且已经通过削减数据存储生命周期和删除非必要数据等方式进行了治理，在您的存储预算有限，计算资源还有冗余的情况下，可以考虑使用数据重排方式对存储空间进行优化。...
本文为您介绍MaxCompute 2.0数据类型版本的定义、使用场景、支持的数据类型以及与其它数据类型版本的差异。定义 项目空间选择数据类型版本为2.0数据类型版本时，项目空间的数据类型属性参数定义如下。setproject odps.sql.type.system.odps...
本文为您介绍数据质量对象的模板类型。数据表/指标模板类型 模板分类 模板说明 完整性 字段空值校验 用于对单字段是否是空值进行校验。字段空字符串校验 用于对单个字段是否是空字符串进行校验。唯一性 字段唯一性校验 用于对单字段唯一值/...
本文为您介绍数据质量对象的模板类型。数据表/指标模板类型 模板分类 模板说明 完整性 字段空值校验 用于对单字段是否是空值进行校验。字段空字符串校验 用于对单个字段是否是空字符串进行校验。唯一性 字段唯一性校验 用于对单字段唯一值/...
风险识别维度 细分类别 描述 数据属性 数据分级 识别指定级别的风险数据，您需要提前定义数据的分级，详情请参见 配置敏感数据分类分级。数据分类 识别指定类别的风险数据，您需要提前定义数据的类别，详情请参见 配置数据识别规则并执行...
填写数据过滤内容，例如：id=12-单表 T1.id=12 and T2.name="张三"-双表 及时性 时间函数比较：校验字段、校验表数据过滤：详情请参见 完整性/唯一性 的描述。比较项：比较时间的表达式，内置${column}、${bizdate} 参数。基于比较字段定义...
填写数据过滤内容，例如：id=12-单表 T1.id=12 and T2.name="张三"-双表 及时性 时间函数比较：校验字段、校验表数据过滤：详情请参见 完整性/唯一性 的描述。比较项：比较时间的表达式，内置${column}、${bizdate} 参数。基于比较字段定义...
通常中间结果数据量不大，而且大多数聚合操作的计算复杂度比较低，即使数据量不小，也能较快完成。所以通常情况下，聚合操作的问题不大。但某些聚合操作，例如 collect_list、median，需要把全量中间数据都保留下来，在配合其他聚合用法时...
图表样式 标注对比饼图是饼图的一种，与基本饼图相比，标注对比饼图支持真实值和百分比值的切换、多系列数据配置以及标签、图例、动画等配置，适用于比较平面化的数据占比情况展示。样式面板 搜索配置：单击 样式 面板右上角的搜索配置项...
如果业务是按照数据库database或schema来做隔离的，同时各个数据库之间的关联查询和更新比较少，那么可以用数据库隔离级别来管理。这个也是默认的方式。优点是以后切换访问点，管理起来比较方便。如果业务只使用了少数几个数据库，并且各个...
如果数据表很多导入比较麻烦可以使用Hive外表，性能会比Broker load导入效果差，但是可以避免数据搬迁。如果单表的数据量特别大，或者需要做为全局数据字典来精确去重可以考虑使用 Spark Load。实时数据导入：日志数据和业务数据库的Binlog...
您通过控制台查看或修改RDS SQL Server数据库的各类属性，也可以手动收缩数据库事务日志和更新数据库统计信息，以优化数据库性能和提高查询效率。前提条件 已 创建数据库。查看或修改数据库属性 注意事项 部分修改数据库属性的操作会导致该...
数据质量支持您保留数据质量监控过程中从数据表中发现的非预期数据，帮助您快速排查、定位问题，提升数据质量。本文为您介绍如何管理数据质量监控过程中从数据表中发现的非预期数据。背景信息 问题数据表 数据质量支持在部分规则校验不通过...
DataWorks的数据质量监控节点可通过配置数据质量监控规则，监控相关数据源表的数据质量（例如，是否存在脏数据）。同时，支持您自定义调度策略，周期性执行监控任务进行数据校验。本文为您介绍如何使用数据质量监控节点进行任务监控。背景...
DataWorks的数据质量监控节点可通过配置数据质量监控规则，监控相关数据源表的数据质量（例如，是否存在脏数据）。同时，支持您自定义调度策略，周期性执行监控任务进行数据校验。本文为您介绍如何使用数据质量监控节点进行任务监控。背景...
DB2数据源作为数据中枢，为您提供读取和写入DB2数据库的双向通道，能够快速解决海量数据的计算问题。本文为您介绍DataWorks的DB2数据同步的能力支持情况。支持的版本 DB2 Reader和DB2 Writer使用的DB2驱动版本为 IBM Data Server Driver ...
本文介绍如何通过Power BI连接 AnalyticDB for MySQL 集群并进行实时数据分析。前提条件 已安装 Power BI。说明 本文示例Power BI版本为2.143.878.0 Power BI Desktop，语言为英文。如果您需要通过公网连接 AnalyticDB for MySQL 集群，请...
背景信息 在海量大数据场景下，一张表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低，同时这部分历史数据体量非常大，比如订单数据或者监控数据，降低这部分数据的存储成本将会极大的节省企业的成本。因此，如何以极简的...
注意事项 若某一行数据同时包含热数据和冷数据，例如更新了部分列导致一行数据中既存在热数据又存在冷数据的场景，开启查询热数据优先功能会导致该行的查询结果分两次返回，即Scanner返回的Result集合中，对于同一个Rowkey会有两个对应的...
仪表盘是 数据管理DMS 数据分析的其中一种可视化应用类型，其提供自动布局和可交互能力，您可以通过使用仪表盘来进行数据分析和制作可视化报表。本文介绍仪表盘的基本概念、功能展示及操作步骤。基本概念 仪表盘集合：仪表盘集合是用户管理...
添加完成数据文件后，在跳转后的添加数据对话框，选择数据的分组、输入数据集的名称、选择数据的类型和数据的服务地址，单击对话框右下角的 创建数据集 即可完成三维瓦片数据的添加。说明 当数据量较大时解析时间会比较长，您可以先关闭弹...
添加完成数据文件后，在跳转后的添加数据对话框，选择数据的分组、输入数据集的名称、选择数据的类型和数据的服务地址，单击对话框右下角的 创建数据集 即可完成三维瓦片数据的添加。说明 当数据量较大时解析时间会比较长，您可以先关闭弹...
图表样式 矩形树图适合展现具有层级关系的数据，能够直观体现同级之间的比较，相比起传统的树形结构图，矩形树图能更有效得利用空间，并且拥有展示占比的功能。样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标，可在搜索配置面板...
图表样式 矩形树图适合展现具有层级关系的数据，能够直观体现同级之间的比较，相比起传统的树形结构图，矩形树图能更有效得利用空间，并且拥有展示占比的功能。配置面板 搜索配置：单击 配置 面板右上角的 搜索配置，可在 搜索配置 面板中...
日志 热点问题 其他常见问题 云数据库MongoDB版日志清理策略 分析MongoDB数据库正在执行的请求 如何获取耗时比较长的慢请求信息？某个请求一直处理没有结束，能否强制结束？日志管理 查看慢日志 查看错误日志 查看运行日志 分析慢日志 报错...