仪表盘是数据分析和数据展示的画布，在仪表盘中可以做实时的数据分析，也可以将数据制作为报表进行展示或分享。大屏是针对大屏幕的特殊数据展示画布，支持灵活自定义的样式配置。应用场景 安全自助式数据分析 基于DMS安全管控底座，确保...
数据安全中心DSC根据为不同行业预先定义的敏感数据关键字段，扫描MaxCompute、OSS、阿里云数据库服务（RDS、PolarDB-X、PolarDB、OceanBase、表格存储等）和自建数据库中的数据，通过敏感数据规则，判断和打标敏感数据，为数据安全审计、...
数据组织 X-Engine的每层都划分成固定大小的Extent，存放每个层次中的数据的一个连续片段（Key Range）。为了快速定位Extent，为每层Extents建立了一套索引（Meta Index），所有这些索引，加上所有的memory tables（active/immutable）一起...
您可以在数据流运维中心查看数据流的...对于执行中的数据流，可以终止或暂停数据流运行。单击 发布列表 页签，查看数据流的 版本ID，发布人，发布时间、版本 详情 和 DAG图。您还可以选中任意2个 版本ID，单击 版本对比，查看版本的对比信息。
大数据集场景下优先考虑稀疏索引：如果您的数据量非常地大，并且您的查询限定条件为<、、=、>=、>，需要从大数据量的表中取出少于50%的数据，那么使用稀疏索引（BRIN Index或者AOCS表的metascan）可以极大地减少无效数据的加载。...
数据分析与处理：完成数据的同步后，可以对MaxCompute中的数据进行加工（MaxCompute SQL、MaxCompute MR）、分析与挖掘（数据分析、数据挖掘）等处理，从而发现其价值。数据提取：分析与处理后的结果数据，需要同步导出至业务系统，以供...
通常，大数据系统中的工作流涉及多部门、多责任人且跨系统的数据，如何才能协调好这些业务系统准时、保质保量地产出数据，避免出现因业务系统宕机/脏数据导致数据延时产出、产出脏数据，关乎到企业数据业务的连续性问题甚至高层的信任问题...
对于30天以外的数据可以投递到OSS上，但直接分析OSS中的数据有以下痛点。日志数据格式复杂，不利于直接分析 ActionTrail中保存的是JSON格式的数据，一行内有多条数据，数据以一个Array的形式保存，例如[{"eventId":"event0".},{"eventId":...
HDFS有Java onheap限制，而Block模式没有Java onheap和内存限制，可以支持更大的数据规模。Block模式轻运维，不用担心坏盘或坏节点，数据1备份放置在OSS上，支持上下线节点。支持对冷数据做透明压缩和归档，使用多种手段进行成本优化，对接...
说明 您可以设置SQL过滤条件，过滤待迁移的数据，只有满足过滤条件的数据才会被迁移到目标实例，详情请参见 通过SQL条件过滤任务数据。单击 下一步高级配置，进行高级配置。配置 说明 选择调度该任务的专属集群 DTS默认将任务调度到共享...
购买实例 集群实例工作台 标准版（Key-Value）标准版（Key-Value）是 OceanBase 的 No SQL 数据库模型，可以绕过 SQL 引擎直接读取存储引擎中的数据。同时，提供多种更加简单高效的非关系型 API 接口，充分发挥 NoSQL 和 SQL 共处的新架构...
此时，您可以对集群中的数据进行热度和冷度的统计，将访问频率较低的冷数据迁移至低成本的OSS对象存储中，从而降低成本，加速业务计算能力。本视频为您介绍Hive、Spark和Presto如何开启热度和冷度统计。对Hive数仓表进行高效小文件合并 对...
您可以将DataWorks中的数据文件导出或下载至本地，再上传至溯源任务中进行溯源，也可以将外部系统的数据保存至CSV文件，再上传至溯源任务中进行溯源。目标文件上传成功后，您还可以选择 替换 或 下载 该文件。单击 开始溯源，启动目标溯源...
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB MySQL版 集群的数据同步至 Elasticsearch 实例。前提条件 已创建存储空间大于源 PolarDB MySQL版 的目标 Elasticsearch 实例。具体操作，请参见 创建阿里云...
绑定后，才可读取数据源或集群中的数据，并进行相关开发操作。开发前准备：绑定数据源或集群 2023.12.29 新增功能 数据源 为给您带来更统一的产品使用体验，DataWorks将MaxCompute、Hologres、AnalyticDB for PostgreSQL、AnalyticDB for ...
无锁结构变更概览 开启无锁结构变更 通过无锁变更工单实现无锁结构变更 数据变更 普通数据变更 支持INSERT、UPDATE、DELETE、TRUNCATE、CREATE TABLE等SQL语句，可以对数据库中的数据进行变更操作，用于数据初始化、历史数据清理、问题修复...
参数 说明 超链接 您可以设置单击后跳转页面的URL，也可以在 数据 面板中的 url 字段中进行配置。如果 配置 和 数据 面板中都配置了 超链接，则优先使用 数据 面板中的配置。是否新开窗口 打开开关，单击背景图可以新开一个标签页打开背景...
当数据库中表的数据量过大时，可能会影响查询数据速率，在不考虑将数据迁移到其他数据库的情况下，您可以将数据库中的历史数据或使用频率低的冷数据归档在当前数据库下的其他表中。同时，结合DMS提供的归档时清理源表功能，帮助您提升数据...
数据安全中心（Data Security Center，简称DSC）支持静态脱敏和动态脱敏，可以脱敏数据库中的敏感数据。本文介绍如何使用静态脱敏和动态脱敏。脱敏方式 静态脱敏：通过新增脱敏任务，使用脱敏算法对敏感数据进行遮盖、加密或替换，并将脱敏...
使用阿里云区块链服务（Blockchain as a Service，简称BaaS），您可以通过REST API调用智能合约，查询链上信息，也可以查询区块及交易信息。前提条件 已准备好待添加的区块链服务数据源。添加区块链服务数据源操作步骤 登录 DataV控制台。...
解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，...
不支持直接对PolarDB集群进行审计，支持对集群中的数据库进行审计。云数据库PolarDB是阿里巴巴自主研发的新一代关系型分布式云原生数据库，目前兼容三种数据库引擎：MySQL、PostgreSQL、Oracle（高度兼容Oracle语法）。数据库审计支持对这...
在 空间数据管理 页面，单击左侧列表中的 我的数据，可以查看 我的数据 页面内的数据分组状况以及所有添加完成的不同类型数据内容。您可以单击右侧的 上传数据，自定义上传列表中一种类型的数据；也可以在 我的数据 页面内预览某个已上传的...
在 空间数据管理 页面，单击左侧列表中的 我的数据，可以查看 我的数据 页面内的数据分组状况以及所有添加完成的不同类型数据内容。您可以单击右侧的 上传数据，自定义上传列表中一种类型的数据；也可以在 我的数据 页面内预览某个已上传的...
DSC 可根据预先定义的敏感数据关键字段，扫描MaxCompute、OSS、阿里云数据库服务（RDS、PolarDB-X、PolarDB、OceanBase、表格存储）、自建数据库等数据库中的数据，通过敏感数据规则中的命中次数来判断是否属于敏感数据。重要 DSC 仅对数据...
使用阿里云区块链服务（Blockchain as a Service，简称BaaS），您可以通过REST API调用智能合约，查询链上信息，也可以查询区块及交易信息。前提条件 已准备好待添加的区块链服务数据源。添加区块链服务数据源操作步骤 登录 DataV控制台。...
DataHub Connector可以将DataHub中的流式数据同步至MaxCompute。您只需要向DataHub中写入数据，并在DataHub中配置同步功能，便可以在MaxCompute中使用这些数据。详情请参见 通过DataHub迁移日志数据至MaxCompute。此方法多用于公测和自研。...
假设分区表 t1 的历史分区为 p0 和 p1，需要将这两个历史分区中的数据迁移到新分区表 t2 的 p0 和 p1 分区中。操作步骤如下：创建新的分区表 t2，表结构与 t1 保持一致，且包含 p0 和 p1 分区。创建普通表 temp，表结构与需要迁移的分区表...
对于内部表，所有的数据都存储在MaxCompute中，表中列的数据类型可以是MaxCompute支持的任意一种数据类型。对于外部表，MaxCompute并不真正持有数据，表格的数据可以存放在OSS或OTS中。MaxCompute仅会记录表格的Meta信息，您可以通过...
空间管理员 角色权限，仅支持授权用户所管理工作空间中的数据源权限。数据源查询结果的操作权限管控 数据源查询结果相关操作权限管控的使用限制如下。限制类别 限制描述 生效模块 目前仅支持对数据分析模块进行权限管控。操作限制 目前仅...
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据。Dataphin集成了丰富的数据引擎，支持接入MaxCompute、Hive等数据仓库，也支持对接企业传统数据库，如MySQL、...
同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下，进行数据同步时如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个阿里云账号下，进行数据同步时如何...
为什么数据服务无法连接ECS自建的数据库？是否必须开通API网关？如何配置数据源？数据服务是否支持MaxCompute（ODPS）数据源？向导模式生成API与脚本模式有何功能差异？数据服务中的API分组的作用是什么，与API网关中的分组有什么关联？...
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据。Dataphin集成了丰富的数据引擎，支持接入MaxCompute、Hive等数据仓库，也支持对接企业传统数据库，如MySQL、...
一个租户可创建并管理多个工作组，满足同一组织不同部门或业务场景下的数据开发需求。什么是工作组 工作组是数据资源平台中进行数据研发的基本单元，用于数据隔离的命名空间，通常为一个用户组、一个项目或一个应用。工作组内的数据通常为...
当裁剪边界数据接口请求失败时 裁剪边界数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页...
可以参照数据标准模版中的信息项填写数据标准的主题、中文名称、英文名称等信息。进入【数据标准】模块，点击【批量导入】按钮。定位到本地磁盘中已经编辑好的数据标准Excel文件，点击【打开】按钮，即可将已填写好的数据标准批量维护到Web...
忽略：忽略上传的数据，目标表中的数据不会更新。更新（replace）：上传的数据会全量覆盖目标表的旧数据，未配置列映射的字段强制写为NULL。更新（update）：上传的数据覆盖目标表的旧数据，但仅覆盖配置有列映射的字段数据。说明 仅...
事件 事件 说明 当地理边界geojson数据接口请求完成时 地理边界geojson数据接口请求返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据请参见上文的 数据示例。当插值点数据接口请求完成时 插值点数据接口请求...
数据湖分析 StarRocks不仅能高效地分析本地存储的数据，也可以作为计算引擎直接分析数据湖中的数据。您可以通过StarRocks提供的External Catalog，轻松查询存储在Apache Hive、Apache Iceberg、Apache Hudi、Delta Lake等数据湖上的数据，...